Um aspecto que justifica plenamente a adoção dessas ferramentas é o emprego de Frameworks de Componentes UI, como Quasar para Vue ou Ant Design para React. Para alguns, essas ferramentas podem parecer aberrações e, de certa forma, concordo completamente. No entanto, elas permitem a construção de interfaces funcionais e belas em tempo recorde, sem escrever uma única linha de CSS. Isso é particularmente vantajoso se você não tem um especialista em CSS no time, que foi o meu caso.
Nesses casos, a escolha de um framework base torna-se um pré-requisito, não apenas uma preferência. Essa decisão permite que 'equipe frontend' foque exclusivamente na lógica de apresentação e na entrega de valor, ao invés de detalhes estéticos.
Fora isso, para a interatividade em si, hoje em dia não vejo muitas razões para utilizar esses frameworks complexos, a menos que você esteja desenvolvendo algo como o feed de notícias do Facebook. Como você mesmo observou, para 90% das aplicações, Vanilla JS é mais do que suficiente. Esse cenário é novidade porém; não era o caso há 10 anos, quando presenciamos o primeiro boom dos frameworks de JavaScript.
Vale ressaltar que estou afastado do desenvolvimento web há alguns anos, mas havia uma tendência de Frameworks de Componentes UI baseados em web components e Vanilla JS. Se estivesse desenvolvendo um frontend web hoje, eu certamente exploraria essa opção.