Essa não é uma decisão que vai "mudar completamente a sua carreira". Existem muitos devs que são Full Stack, trabalham com Front e Backend a depender do projeto, da vaga ou da necessidade. Você pode muito bem fazer os dois.