Sugiro começar com Amazon LightSail.
Eu também fui nessa de EC2, banco de dados RDS, etc. mas é caro.
Quando a gratuidade acabou, eu quebrei a cara, venho quase uns R$ 500,00 de conta.
Então tive que fazer backup e sair apagando tudo e alterar rapidamente para Amazon LightSail.
Agora pago R$ 35,00 por mês.

Sugiro esse provedor, me atendeu muito bem antes de eu ir para a AWS
https://hostmach.com.br/

Não conheço o Azure mas sei que é Microsoft e ela tem a fama de fazer as coisas fáceis.
Se eu fosse me aventurar agora, tentaria o Azure.
Eu penei na Amazon para entender as políticas do tal "I AM", configurar o domínio que eu tinha registrado no registro.br sem usar o Amazon Route 53, configurar certificado Let's Encrypt sem o AWS Certificate Manager. É perceptível que eles deixam as coisas grátis complicadas, só para você pagar por esses serviços, como Amazon Route 53, AWS Certificate Manager, etc.