ChatGPT Personalizado: Few Shot Learning ou Fine-Tuning?

Estou envolvido em um projeto que utiliza, por meio da api da open ai, o chatGPT e outros modelos de IA generativa, projeto no qual eu precisei criar um chat bot treinado com um banco de dados especificos...
Juntando todo o conhecimento adiquirido, percebo que a principio caimos em duas soluções possíveis, sabendo que o chatbot deve 'lembrar' das mensagens anteriores do usuário e agir de acordo:

Few Shot Learning
Aqui, da mesma forma que fazemos para introduzir conceitos novos pelo proprio chat gpt(simplesmente explicando pelo chat), pelo código no proprio chat introdutório seria introduzido todo o banco de dados específico, e a cada pergunta nova do usuário sempre seria enviado juntamente o {banco de dados + as mensagens anteriores}, porém o melhor modelo atual (gpt3.5-turbo) comporta neste envio recorrente apenas 4096 tokens (na arrays com as mensagens de sistema + antigas mensagens de usuário + antigas mensagens da própria AI), ou seja, o banco de dados fica limitado a um numero muito pequeno de palavras e a conversa limitada a poucas trocas de mensagens....

Fine Tuning
Já aqui, treinamos um modelo novo apartir do davinci-text-003(último modelo para fine-tuning) pela própria API da openAI e um banco de dados de cerca de 2000 prompts e completions de treino/teste... O problema porém foi quanto à qualidade das resposta e à dificuldade de implementar uma resposta coerente para chat propriamente dito, tendo em vista que o text-davinci não foi criado/treinado para executar essa função e sim para a abordagem do tipo 'completar' textos ou gerar modelos de textos a partir de outro texto...

Pergunta em aberto?
Tendo em vista as limitações encontradas nestas abordagens, qual a melhor forma de fazer um chat bot com o chat gpt, no qual, ele é treinado a responder baseado em um grande banco de dados específico, e ainda capaz de lembrar as mensagens anteriores do usuário e responder coerentemente no chat como um tutor/assistente/guia efetivo???