Agregando a tudo que ja foi falado abaixo, acredito que, principalmente para novos devs, a principal vantagem do NextJS sobre o ReactJS, são as rotas, que são facilmente configuraveis.

Com o Next 13 agora, temos as rotas separadas por pastas, o que deixa a estrutura ainda mais limpa na minha opniao, já que você pode criar o componente principal da pagina e os componentes que pertencem a ela, dentro da mesma pasta, e o Next se encarrega de carregar o componente principal através do nome do arquivo, que tem que seguir a estrutura.

Quando comecei no web development, lidar com o React Router DOM sempre foi dificil pra mim, o Next me ganhou exatamente por cause dessa facilidade.

Obviamente existem diversas outras coisas, mas vale a pena lembrar, que o ReactJS é o 'pai' do Next, então quanto mais vc aprender ReactJS, mais facil e intuitivo fica pra você aprender/avançar no Next.

Bons estudos!