Cara, realmente é uma escolha difícil. Mais creio que a carreira de back-end vai te tomar muito mais tempo, pois se trata de outros assuntos mais complexos, que você ainda não viu no front-end.

Existe uma gama de conceitos e fundamentos básicos que você vai precisar estudar se for no caminho do java. Assim como:
POO (Programação Orientada a Objetos), Herança, Polimorfismo, Interfaces, Estrutura, Lógica de Programação e muito mais.

Resumindo, a* curva de aprendizado é maior*, mais vale muito a pena. Só que tem um impacto maior na sua carreira atual. Tem que avaliar isso!

E trabalhar apenas com front-end não é ruim, eu sugiro começar algum curso básico de back-end e se achar que está se dando bem, continua. Se não, foca no front.