Olá
Eu esses dias queria fazer algo parecido, eu gero o backend e o frontend numa pipeline no Github Actions, e queria fazer o deploy no servidor.
Eu já utilizo docker-compose no servidor, chamando a imagem que quero, o que fiz foi adicionar um novo container com uma ferramenta que monitora novas versões do container e atualiza o existente.
Eu coloquei para cada 1 minuto ver se tem uma imagem nova, e está atendendo as minhas necessicades.