Sim!! Esse é um ponto que fazem muitas pessoas odiarem Java. Geralmente são pessoas que começam a faculdade sem ter contato com a programação antes e pega um Java logo de cara ai assusta mesmo.
Por isso é importante fazer uma boa base. Eu recomendo pra qualquer pessoa que começa a estudar fazer o curso CS50 de Harvard antes de escolher qual linguagem quer se especializar.
Mas eu também acredito que é mais fácil alguém que sabe Java aprender Python do que ao contrario. Lógico que não é impossível, mas é um pouco mais dificil