Existem muito mais linguagens de programação do que os programadores normalmente pensam. O HOPL (https://hopl.info/) por exemplo indexa quase 9 mil linguagens de programação, e não são todas as que existem.
Agora falando sobre "vantagens" e se "vale a pena" depende do motivo do porque você estuda: você estuda para aprender ou para trabalhar?
Porque se você for do tipo que estuda para trabalhar então não vale a pena sair aprendendo qualquer linguagem que você nunca vai usar na vida.
Agora se você estuda para aprender, se você tá interessado no lado intelectual e não apenas profissional, então vale muito a pena e existem várias vantagens em estudar qualquer linguagem de programação. Não importa qual seja, não importa quantas pessoas usem.
Se você for esse tipo de pessoa eu tenho certeza que não preciso dizer isso para você, mas vale escrever mesmo assim: não adianta de absolutamente nada ficar decorando a sintaxe da linguagem e como usar suas funções/bibliotecas. O que tem de útil de estudar uma linguagem é realmente entender ela, então estude a especificação da linguagem e estude Programming Language Theory.
Com isso você entende os conceitos teóricos e os resultados práticos da linguagem, o que te dá insights sobre como a linguagem resolve determinados problemas, como a solução é ruim, como poderia ser melhor, vantagens e desvantagens desta solução e de outras alternativas, entender os pontos fracos e o que tem de ruim na linguagem etc.
Programadores que conhecem poucas linguagens, ou que já usaram muitas linguagens mas só sabem a sintaxe e funções/bibliotecas da linguagem (ou seja, só um conhecimento superficial), não costumam ter essa visão analítica sobre linguagens de programação.
É como a frase de Newton:
Se vi mais longe, foi por estar sobre ombros de gigantes
Entender como os outros resolveram problemas e entender os problemas em si, é a escalada até os ombros do gigante. É necessário esse embasamento para ser capaz de resolver problemas novos, pensar analiticamente e ser capaz de desenvolver algo a partir das suas ideias ou ter ideias inéditas. Ou seja, "ver mais longe".
Essa é a vantagem do ponto de vista intelectual. Se isso é vantajoso para o seu trabalho ou não, não sei. Para o meu é, mas por acaso. Nunca foi meu objetivo.
Enfim, intelectualmente falando existem inúmeras vantagens de estudar como linguagens diferentes funcionam (mas como falei estudar a spec da linguagem, só decorar sintaxe e como usar funções/bibliotecas não serve de nada).
E entender os defeitos e pontos fracos da linguagem que usa é muito importante. Porque não dá para evitar ou corrigir problemas que a gente não sabe que existem.
Tem programador que entra em negação (ou fica magoadinho) quando disparam críticas para à linguagem(ns) que ele usa/gosta. Não seja assim, pelo contrário: seja o maior crítico da linguagem que você usa/gosta. E para ser capaz disso você precisa do embasamento que eu mencionei acima.
Por exemplo: eu uso e gosto de C e sou a pessoa que mais critica a linguagem dentre as que eu conheço.
E isso é um pensamento científico, a premissa de tentar provar que sua hipótese está errada ao invés de fazer o contrário. Pois isso evita cair no viés de confirmação.