Sua carreira js nao sera construida em torno de um framework.
Voce pode sim se especializar em VueJS.
Quando for realmente bom em VueJS e precisar usar outro framework, vai ver que a syntaxe muda, a estrutura de pastas mudam, alguns nomes sao diferentes.
Mas eh tudo tao semelhante que voce vai se encontrar muito facilmente.