Você quer desenvolver aplicativos para ganhar dinheiro ou como um desafio/hobby?

Qualquer que seja sua resposta, você precisa aprender os princípios de como criar um programa e para isso, qualquer linguagem vai servir. O Python pode não ser a melhor ferramenta para criar um aplicativo comercial, mas se você quer criar uma calculadora, use o Python mesmo e aprenda a criar aplicativos com ele.

Os conhecimentos que você adquirir poderão ser transferidos para o Java, pois a lógica geral é a mesma, os princípios são os mesmos.

Fazendo uma analogia, você quer ser um confeiteiro foda que faz bolos muito fodas, mas você nunca assou um bolo.
Você está falando que precisa usar uma cozinha industrial para assar seu primeiro bolo de fubá, pois todos os confeiteiros fodas usam cozinhas industriais para fazer os seus doces, mas você não está conseguindo trabalhar em uma cozinha industrial, pois tudo é muito mais difícil e complexo que a cozinha que você tem em casa.
A minha dica é fazer bolos na sua cozinha de casa mesmo e somente quando você sentir que a cozinha caseira está relamente te limitando, migrar para a cozinha industrial.