Porque você usaria o React Router com o NextJS? Você não perde dependendo da forma que vc utilizar, você ainda pode gerar as meta tag estatica ou dinamica com o NextJS e deixar o React Router só para o conteudo.

Particulamente não recomendo utilizar os dois, o NextJS é mais poderoso se você utilizar todo seu ecosistema da maneira que ele foi pensando pra ser utilizado.