A complexidade do heroku acaba sendo menor do que da aws. Em geral, para aplicações pequenas, o custo também, pois você consegue provisionar uma instancia de postgress gratuita usando plugins.

Na aws tem algumas alternativas, dependendo do que for, pode usar o App Runner, Lambda Functions, SAR, EC2, montar containers...

Mas se estiver começando, sugiro fugir.
Um cliente meu estava usando EC2 pra tudo, migrei a maioria das coisas pro Heroku e diminui em 500% os custos dele.

Aí, enquanto sua aplicação escala, tente escalar seus conhecimentos sobre essas plataformas. Em geral elas são bastante equivalentes, inclusive em preço.

Os treinamentos deles, docs e certificações são bons caminhos, na minha opinião