Resumidamente, assim como qualquer outra linguagem, se você gostar vale sim. O java especificamente tem um mercado relativamente grande, pouca competitividade em níveis mais alto, e desde que você se dedique em sempre aprender, nunca vai ficar desempregado, mesmo depois da pandemia.
Existem 2 mundos de java, os sistemas legado e o mundo perfeito que dificilmente se vê alguma empresa usando. Os sistemas legados são grande maioria, geralmente as empresas que usam java não passam da versão 11, e ainda assim, tem muita coisa na versão 11.
Porém o java já está na versão LTS 17, que adiciona mais coisas ainda, mas quase ninguém usa. Eu sei que existem excessões, algumas startups se aventuram, eu mesmo tenho projetos pessoais no github que já usam o 17, mas via de regra é isso.
Quanto as pessoas falarem, eu acho que isso é normal. Geralmente programadores java estão muito ocupados (farpas) ou estão morcegando por ai enquanto buildam o sistema localmente pra testar uma alteração no código (meu caso).
Quando comecei a trabalhar ganhava 2000 por mês como junior sem experiência nenhuma. Hoje sou pleno e ganho 7000 + bonus. Demorou um pouco, sofri muito, mas hoje vale a pena.

[EDIT]
Sobre não gostar de desenvolvimento web, se optar por java não vai fugir disso, ainda mais hoje em dia. Se você quis dizer especificamente o javascript ou até front end, ai eu te entendo e compartilho o mesmo ódio. Mas a web é o ponto focal hoje em dia, salvo algumas poucas empresas que programam para desktop e empresas de jogos.