Não tem para onde fugir, você precisa aprender docker, é igual Git. A respeito de lock-in, se você quer algo agnostico de plataforma você vai precisar aprender ferramentas como docker, kubernets, terraform, ansible...... muitas ferramentas da cultura devops.
A respeito de precificação na AWS tem muitos fatores que você precisa levar em conta, como o tamanho da sua aplicação e o quanto ela vai escalar futuramente, se é apenas para teste por exemplo ou coisas pequenas você pode estar optanto por outras soluções mais baratas.
Sobre o serviços da AWS e a arquitetura da sua aplicação você precisa conhecer os dois para saber qual serviço melhor se adequa a sua aplicação. Por exemplo você poderia estar usando o AWS Lightsail os preços são bem menores é facil de utilizar, você também poderia estar construindo sua API com o AWS Lambda em vez de pagar por serviço da EC2 que ficar ligado 24/7 você pode pagar apenas pelas chamadas/tempo de processamento.
A outras coisas que você também pode levar em conta como por exemplo usar o saving plan para ec2, há muitas maneiras de fazer isso vai depender muito do seu caso de uso, tenha cuidado em utilizar os serviços um erro pode lhe custar caro, se você não entende bem ou você estuda ou busca quem sabe.
Espero ter ajudado !