Bom dia Pocoyote
!
Existe uma maneira de ultrapassar a primeira limitação do Few Shot Learning... Existe uma biblioteca chamada GPTIndex que condensa muito mais o seu contexto (tem que ver qual é a limitação) para poder passar para o chatGPT.
Sugiro dar uma olhada nesse vídeo aqui (Está em inglês): Build AI chatbot with custom knowledge base using OpenAI API and GPT Index