Eu acho que nesse caso, é mais importante você aprender primeiro react, pois, até onde eu sei, o nextjs é como uma "extensão" do react, tendo apenas novas funcionalidades e melhorias.

De forma geral, no mundo da programação, seja front, back, infra, ou qualquer outro ramo, é bastante importante começar a aprender da base pro topo, pois isso irá te abrir um leque de oportunidades maior, além do fato de que o entendimento de como as coisas funcionam na base pode te livrar de grandes problemas no futuro.

Principalemente no front, as coisas tendem a mudar com muita frequência, pois muitas coisas novas são criadas rapidamentes. Não se desespere por isso, e aprenda da base pra diante (javascript > react > nextjs), pois as libs e frameworks possuem uma curva de aprendizado muito menor do que aprender uma linguagem ou conceito inteiramente novo.