Onde que os frameworks facilitam a sua vida?
- Processamento de templates;
- Server de dev com hot reload;
- Transpilação de Typescript;
- Module bundling;
- Minificação de js e css;
Se você tivesse tudo isso de forma simples, o framework ainda faria sentido? Veja que todos os 3 frameworks da moda (angular, react e vue) tem isso, mas nada disso é o core do framework.
Eu passei algum tempo tentando entender como que essa parafernalha toda funciona e criei uma arquitetura com isso já pronto, usando as libs que eu escolhi (vc pode escolher as suas, tem várias), e que na hora de trabalhar com o browser, é tudo vanilla. Sim, getElementById mas com Typescript e hot-reload. Não foi fácil, e o resultado tá aqui.
Já botei alguns projetos em produção com essa arquitetura, e todos os devs que trabalharm com ela me disseram que era super simples de usar, além de que era visível como eles conseguiam entregar mais rápido do que usando qualquer outro framework.
Então sim, é possível e totalmente viável trabalhar "frameworkless" no front e ainda ser muito produtivo, só precisa entender o caminho das pedras.