Alguns meses atrás, o Filipe fez uma publicação bem massa aqui no TabNews sobre o Three.js: Tutorial: React Three Fiber e Three.js para criar cenas em 3D impressionantes.

Eu nunca usei, mas parece ser possível fazer muita coisa legal. No próprio site deles tem várias demonstrações.