Isso mesmo Lucas!
O ideal é fazer o upgrade da conta pra pay-you-go pra conseguir criar as máquinas virtuais.
Você não terá nenhuma cobrança desde que use apenas os recursos grátis.
Se você, por exemplo, ir além dos 4 núcleos/24 GBs, você vai pagar por isso, mas se você se mantiver dentro desse limite você vai continuar gratuito.
Apenas um detalhe, para fazer as configurações do Coolify você precisará liberar as portas necessária pelo terminal acessando a VPS.
Esse vídeo é bem explicativo sobre essa VPS: