Temos o mesmo problema. E piora ou melhora de acordo com a velocidade da máquina de cada um.
Com Vite eu realmente não tinha esse problema.
Resolvemos parcialmente alugando um servidor externo e rodando o Vscode remoto por SSH, para quem tem máquinas mais lentas
Respondendo a "Gosto mto de React (usavamos React+Vite pro fro..." dentro da publicação Por que troquei Next.js por Remix nos ultimos projetos.
1