Dá para usar o Vite, mas o NextJS não serve apenas para SSR.

Com Vite, você precisará de algo como um React Router Dom se tiver mais de uma página. Com o NextJS, você só cria um arquivo.

Com Vite, não vai ser tão performático importar fontes do Google. Com o NextJS, é só usar o Next Font.

O NextJS fornece componentes otimizados, como Image e Script, o Vite, pelo que eu saiba, não.

Há muitas vantagens em usar o NextJS. Não precisar de SSR não é o único critério para decidir usá-lo ou não.