Existem frameworks e frameworks. Em alguns fica até difícil fugir. Outros você pode, e alguns você deve.
Se você os usa porque não sabe programar, ok, você não é programador, se meteu a fazer o'que não sabe, quer uma grana, é um direito seu, tem espaço para isso, não tem problema. O problema é você querer ser um desenvolvedor de software profissional sério e apostar em frameworks.
Note que eles podem ser usados para dar produtividade, e até robustez, entre outras vantagens, mas nunca para suprir a incapacidade de quem está "programando", pelo menos dentro do objetivo que citei. Eles são errados para o objetivo se a pessoa só conseguir fazer a entrega adequadamente com o uso deles. Mesmo isso, há casos e casos.
Tente fazer um GUI sem usar um framework. É possível, mas raramente será viável.
Não se pode demonizar por completo o uso deles, nem considerar como essencial. Nem colocar todos no mesmo saco, porque alguns ajudam muito mais que atrapalham, outros são aberrações.
Pensa em web que hoje é tão usado. Acha fácil fazer o backend sem um framework? Pode ser um pouco mais simples, mas tente fazer na mão tudo. Provavelmente você vai escolher usar um. Por exemplo, vai escolher PHP, que é um framework (curiosamente muita gente não sabe disso). Ou vai usar uma das várias facetas do ASP.NET, algumas mais modernas e simples que entregam mais valor que as mais antigas e complexas.
Se for no frontend, tem muitos casos que deveria usar um. Tem casos que não deveria nem cogitar, mesmo assim a pessoa usa, porque é o que está acostumada. Ela detona a UX em nome da sua vontade ou necessidade técnica ou política.
Toda vez que a pessoa escolhe um caminho porque todo mundo faz, porque é o padrão, ela está cometendo um erro, mesmo que acerte por coincidência. Tudo deve ser pensado. Deve avaliar as questões técnicas políticas por completo, olhando o lado do usuário, os objetivos de curto e longo prazo. E para isso precisa de experiência. Para o programador inexperiente errar faz parte do processo e serve muito bem a um propósito que também é nobre, que é aprender, e ganhar experiência, com o erro.
O problema de errar no geral é não aprender com ele, é achar que acertou. E vemos isso acontecendo o tempo todo, me parece que cada vez mais. No específico pode ter problemas mais palpáveis, por exemplo aumentar o custo, ter atraso, não entregar o que foi prometido, causar problemas para as pessoas, etc.
É importante entender as vantagens de desvantagens do que vai usar. E fazer isso sem viés. Considerá-las verdadeiramente. E achar todas elas, porque em tempos cada vez mais marketeiros a internet ajuda menos, muitas análises escondem alguns fatores. Você precisa não depender dos outros (que são frameworks humanos), você precisa fazer a análise por conta própria, ainda que use os outros para dar um início. Mas é fácil cair em armadilhas também.
Por isso que eu falo que o bom desenvolvedor precisa de uma formação completa, não pode escolher só algumas coisas para estudar.
Não tem resposta universal. O contexto e qual o framework importam muito mais que fatores gerais.
Faz sentido para você?
Espero ter ajudado.
Farei algo que muitos pedem para aprender a programar corretamente, gratuitamente. Para saber quando, me segue nas suas plataformas preferidas. Quase não as uso, não terá infindas notificações (links aqui).