São duas ferramentas diferentes que resolvem problemas diferentes, como explicado no comentário do vagnerlandio.
ReactJS é para criar aplicações front-end principalmente SPAs, onde front-end fica separado do back-end.
- Bom para páginas dinâmicas (não confundir com conteúdo dinâmico) e interatividade minizando chamadas e processamento no backend.
- Bom para rodar o front-end offline (PWAs).
- Bom para projetos enormes onde é interessante separar as coisas.
NextJS é para criar aplicações fullstack onde tudo fica junto em um só lugar.
Traz a posibilidade do SSR onde a renderização acontece no lado do servidor.
- Bom para clientes com pouco processamento ou front-ends que seríam pesados para os clientes.
- Bom para indexação pois as páginas já vem prontas do servidor (melhorando pesquisas do seu site no Google, por exemplo).
- Bom para projetos pequenos onde não precisa separar as coisas.