Me identifico demais com seu caso. Eu desde os 12 até 19 anos trabalhei como designer e editor, logo migrei para programação como fullstack e me dava melhor no front por ter essa noção de pixel by pixel, experiência do usuário e construir telas bonitas.
Mas é como o @GkIgor mencionou, front hoje está sendo muito competitivo porque a maioria só pensa na UI, esquecem que precisam de engenharia no front também, então há muitos de mesmo nível aplicando para as mesmas vagas.

E na boa, se você tem essa base, além de ser bom com design, o back-end será uma delícia para você. Percebi que posso desenhar uma arquitetura limpa com o que sei, posso conversar com a equipe de front de forma que eles me entendam e eu a eles, consigo opinar num design feito pela equipe de UI demonstrando o que pode ser impeditivo vindo do back para ser aplicado no front e a imaginação na criação de novas features.
Se gosta de back, vai fundo nisso. Seu conhecimento passado não será desperdiçado, tenho certeza disso.