Todo mundo defendendo o prisma. Vou defender o typeorm.
Eu acho que o prisma tem a vantagem de iniciar bem rápido. Mas com typeorm eu me sinto mais seguro. Eu acho ele mais a cara do nest, é como que um tivesse sido feito para o outro. Eles funcionam de forma tão integrada, tão fluida que deixa o prisma parecendo gambiarra.

O typeorm segue mais os padrões do nest, como injeção de dependências, divisão em módulos e a configuração com decorators. O prisma,se você tem uma base que você quer aproveitar em outros sistemas, você tem mais dificuldade de ficar catando as coisas pra levar de um sistema pra outro. Com typeorm você é obrigado a deixar tudo separadinho. A vontade de fazer uma consulta perdida no meio de um moduta outro módulo totalmente diferente é grande. Com prisma você simplesmente faz e funciona. Com typeorm você precisa planejar melhor devido a injeção de dependência. Você é forçado a pensar mais e deixar seus módulos mais independentes entre si.

O tempo de início dele é maior. O prisma é bem mais fácil de iniciar, mas aquele arquivo de configuração vira um caos muito rapidamente quando o sistema começa a crescer. No quesito organização, o typeorm ganha de lavada.

Basicamente eu uso os 2. Typeorm quando o sistema tem previsão de ficar maior e prisma quando é uma coisa mais rápida.

Mas eu entendo essa dúvida. Eu também tive os mesmos questionamentos quando comecei a estudar nest. Ele é um sistema tão poderoso que você consegue ter muitas variações de como usar. No início tive bastante dificuldade em escolher pois via muitas formas diferentes de uso. Mas hoje estou confortável com minha escolha.