Eu não gosto muito da ideia. Java é uma linguagem enterprise, e isso significa que ela é boa para fazer aplicações complexas, mas não para fazer pequenos códigos. E isso tem uma grande implicação no aprendizado já que terá que usar muita coisa que parecerá mágica no começo.
Nem vou entrar no mérito que Java esconde muita coisa dando abstrações que prejudicam o aprendizado, porque se não for de Java ainda escolherá uma linguagem que faça o mesmo. Poucas pessoas de fato querem aprender desta forma.
Eu recomendaria C, mas eu admito que não é para qualquer um. C é simples e fácil de aprender (não de usar). Não é para aprender a linguagem, é só para aprender a programar. Depois poderia ir para Java para trabalhar efetivamente. Ou pensar em outra linguagem. Mas dependendo do objetivo da pessoa C não é indicada. Uma pena. Aprender os fundamentos costuma ser mais importante do que a linguagem que usa. C serve bem para isso. De qualquer forma tem que aprender do jeito certo, não é automático, pode aprender errado e adiantar nada.
Eu nem sou dos maiores fãs da linguagem, mas para muita gente JavaScript é mais indicada.
Mas não acho a ideia terrível. Se quer mesmo, Java não é uma opção tão ruim assim.
Faz sentido para você?
Espero ter ajudado.
Farei algo que muitos pedem para aprender a programar corretamente, gratuitamente. Para saber quando, me segue nas suas plataformas preferidas. Quase não as uso, não terá infindas notificações (links aqui).