Eae amigo, tudo bom? Eu também tinha essa dúvida e depois que aprendi um pouco, vi que o Next basicamente tem como objetivo agregar/melhorar algumas coisas que o React puro não faz, por exemplo, a questão de SEO, indexação de páginas por sites de pesquisa como Google, entre outras coisas. Vou te recomendar dois vídeos que me ajudaram a entender um pouco sobre isso. https://www.youtube.com/watch?v=dkPXIobiBM8 e https://www.youtube.com/watch?v=2LS6rP3ykJk.
Eu acho que é importante ter uma base sólida em React, pelo menos nos pontos principais, e depois aprender o Next, pois dessa forma a experiência da aprendizagem é melhor, ou pelos menos, para mim foi.