O react-router serve basicamente pra fazer rotas no client-side. Até tem como utilizar SSR (https://reactrouter.com/en/main/guides/ssr), mas se vc está usando Next, não tem pq usar react-router. Usar a pasta app do Next já serve pra solucionar todos os seus problemas.