Como integrar IA em um SaaS para consultas personalizadas?

Fala, pessoal! Estou criando uma funcionalidade em um SaaS e queria muito a ajuda de vocês para entender como fazer isso da melhor forma.

Na minha plataforma, cada usuário pode criar várias consultas ao longo do ano, com título, resumo, anotações, etc. Supondo que cada usuário faça uma consulta por semana, isso dá cerca de 52 consultas por ano para cada um. Agora, quero dar um passo além: usar essas consultas como "banco de dados" para a IA.

A ideia é que o usuário possa perguntar algo à IA e receber respostas baseadas nas consultas que ele mesmo criou. O problema é: conforme o volume de consultas cresce, enviar todas essas informações para a IA processar pode ficar inviável.

Minhas dúvidas principais são:

Como lidar com essa grande quantidade de dados por usuário?
Existe alguma forma eficiente de armazenar e buscar apenas as informações mais relevantes para cada pergunta? (Tipo um "pré-filtragem" antes de enviar para a IA.)

Quais tecnologias ou estratégias vocês recomendam para fazer isso funcionar de forma escalável? Atualmente eu estou usando somente o back-end dentro do Nextjs juntamente com prisma.

Se alguém já passou por algo parecido ou tem sugestões, ficaria muito grato pela ajuda! 😊