De forma simples, NextJS é um React turbinado. Mas não podemos separar um do outro.

Enquanto o React se propõe a resolver apenas as questões no lado do cliente (frontend). O NextJs trás uma integração nativa de servidor NodeJS (backend), com possibilidade de renderização de páginas pelo lado do cliente, pelo lado do servidor ou mesmo a geração de páginas estáticas criadas no momento do Build. Dessa forma se ajustando a diversos tipos de cenários.

Quanto a questão de aprendizagem, sim dá pra começar pelo NextJS, mas tenha em mente que quanto mais souber de React, mais fácil será seu caminho com o Next.

E claro, você precisa dominar o Javascript. Não dá pra pular isso. Você precisa de uma bagagem sólida dos conceitos que a linguagem trás.

Espero ter ajudado!