Algumas perguntas antes de dar uma resposta mais aprofundada:
- O projeto tem prazo para ser concluído?
- O projeto precisa rodar em Android e iOS?
A partir das respostas podemos chegar a uma conclusão:
Se o projeto for apenas para Android e tiver prazo, então continue com o Kotlin.
Se você não tem prazo e o projeto for rodar tanto para Android quanto iOS, você pode se aventurar no Flutter. A questão aqui é a curva de aprendizado. Você estaria começando do zero.
Com relação a dificuldade em implementar o backend, talvez falte apenas você encontrar a solução. Para mim ambas as linguagens irão te dar o mesmo resultado.