Super bacana sua iniciativa e evolução.

Há um serviço na aws chamado ECS que vai atender super bem o seu caso.

Também é possível fazer a integração com terraform, você literalmente consegue subir todo o ambiente(ecs, load balancer, dns, rds, e etc) e em relação aos custos é bem similar.