Por outro, te tornam dependente e limitado, se vc não souber a linguagem por trás dele.

Acho que o ponto que eu mais tenho refletido sobre nos últimos tempos é a dependência. Mas não no sentido de não saber usar a linguagem, e sim no sentido de ficar dependente do framework. É algo como ficar dependente de uma biblioteca que pode ser abandonada, só que com um peso maior.

Por exemplo, se o React Native parar de ser desenvolvido, em pouco tempo os aplicativos desenvolvidos com ele deixam de ter atualizações aceitas nas lojas (App Store e Play Store) por causa das versões do iOS e Android. Algo similar pode acontecer com o Electron, deixando de funcionar com novas versões do sistema operacional.

Esse é um motivo pelo qual eu observo a adoção como um fator importante antes de escolher o framework. Por exemplo, Tauri é um framework que tem sido relativamente comentado ultimamente, e teoricamente é melhor que o Electron, mas será que vale a pena criar um projeto nele, sendo que o Electron tem uma equipe sólida por trás (desenvolvido pela OpenJS Foundation), e mais projetos dependendo dele (como o Visual Studio Code e o Discord)?

Ao adotar um framework novo você corre esse tipo de risco, e com o passar do tempo o risco se concretiza, ou diminui.

Essa questão da dependência é um dos motivos pelo qual não cheguei a experimentar o NestJS para o Node.js ainda. Sinto que o Express (biblioteca) me atende muito bem, e no máximo experimentaria o Koa ("concorrente" do Express).

Para projetos de vida curta isso não é uma preocupação. Para projetos simples, também não é, mas aí a questão seria "preciso usar um framework?"