Ótima resposta. Vale explorar uma abordagem "agentic" pro seu caso de uso. Essencialmente você dá acesso a um contexto e a ferramentas pra sua llm se comportar melhor da forma que você precisa.

Uma plataforma boa pra começar a experimentar com isso é o langflow, você pode criar agentes com rag e começar a prototipar super rapidamente.