Eu fiquei meio confuso também, pois antigamente o pessoal iniciante criava um projeto usando create-react-app, mas ele foi descontinuado por ser lento/desatualizado e agora a documentação recomenda iniciar um projeto já com um framework, como next ou remix, como você já disse. Por outro lado, é bem difícil ter que aprender React e mais um framework ao mesmo tempo (já disse que o Next.js mudou radicalmente com a atual versão 13?).

Se você não quiser usar esses frameworks por enquanto, você ainda pode usar o create-react-app para focar só no react, só não vai ser a melhor maneira de colocar em produção.

O React é apenas uma biblioteca e só tem o essencial para gerenciar estados dos componentes e aplicar as mudanças no DOM de uma maneira eficiente, ele não tem um gerenciador de rotas, não te faz organizar a estrutura do projeto, tudo isso você só consegue instalando módulos ou usando um framework como Next.js ou Remix. Então não vai dar para escapar deles.