Só vale trocar o PHP por linguagens extremamente performáticas, como Go ou Skala.
Java e C# só entra em cogitação se o seu projeto for GIGANTESCO com milhares de classes.
Nenhuma outra linguagem (Node, Python, ...) terá um ganho de desempenho sobre um PHP bem configurado.
Fora que se sair do PHP e ir para uma linguagem mais performático o custo do teu profissional vai aumentar em muito. Estuimo que 50% para java/c# e mais de 100% para GO.
Compensa trocar apenas porque os outros falam que uma boa linguagem é ruim?