Se você já atua com Front-End, suponho que tenha alguma experiência com javascript, talvez typescript. Então parta para usar isto no back end, trabalhando com node por exemplo. Isso vai ajudar a diminuir a barreira de entrada para entender a natureza de desenvolvimento para backend.

Mas linguagens são meio para um fim. Pode ser que você pegue um projeto que exige Java, ou que você resolva contribuir em algum projeto open source com Rust... Enfim, experimente e se arrisque que com um pouco de sorte você pode conseguir trabalhar com uma linguagem que goste.