O problema do CRA é por ele usar webpack, o webpack é muito lento, pode demorar até 10 segundos pra fazer hot reload em projetos pesados, um verdadeiro absurdo!
Por isso use o vite, rollup ou outro bundler que nao seja o webpack, da muito menos dor de cabeça.
O webpack ajudou a evoluir o ecossistema web, mas ele ta chegando no fim.