Se você já tentou construir uma aplicação web com apenas HTML, CSS e JavaScript, sabe que dá muito trabalho, mas estamos falando de aplicativos, sites mais simples não necessitam dessa tecnologia.

Com React, o Site fica mais rápido?

Sim, um exemplo é a navegação entre páginas, se você navegar entre páginas com um site normal sempre haverá um carregamento, enquanto que aplicativos que utilizam o React Router por exemplo, o carregamento é inexistente. O React foi construído para ter performance para fazer manipulações no DOM.

Falta de SEO adequado quando não se usa NEXT.js

Essa é um problema que não afeta todos os projetos, por exemplo, se você quiser construir um blog, com certeza as páginas necessitarão de um SEO mais avançado, por outro lado, se você estiver construindo, por exemplo, uma calculadora, o projeto não necessitará de um SEO avançado, vale lembrar que é possível fazer um SEO básico em projetos React, onde é possível colocar o título e descrição do site.