Guilherme em relação ao apresentação de contexto para respostas, realmente é algo que faz que tenhamos essa percepção de que o GPT está mais ruim, e irei testar sua extensão para melhorar a entrada de contexto.

Uma coisa interresante que posso ressaltar é que o ChatGPT tem a limitação de " GPT-4 currently has a cap of 25 messages every 3 hours." já realizei um teste que confirmei que essa limitação é de 8,192 tokens por sessão e após isso ele bloqueia aquele chat, isso támbem ocorre consumindo a API após 8,192 tokens eles não suporta mas mensagens. isso eu descobri pq estava em um projeto e pedia para ele fazer a mudança de uma lista gigante em um novo formtato, e pedia para que fosse continuando a listagem chegou um momento que o chat consumindo API chegou ao fim da sessão de 8,192 tokens, para motivo de testes abri o ChatGPT que não abria a alguns dias e copiei as perguntas do inicio até o fim, e a partir do mesmo prompt que encerrou o chat consumindo a api foi encerrado no chatGPT informando que execedeu o limite perguntas.

Com essas considerações me fizeram pensar que isso ocorre para que todos esses dados daquele dialogo sejam enviados para apreendizado do modelo talves indo para um fila de execução.

Com isso comecei a pesquisar sobre modelos open source que você criar a inteligencia e ele está sempre em apreendizado. Com isso estou me organizando para adquirir um hardware que rode tudo isso localmente e com uma estabilidade para treinar meu próprio modelo e obter dialogos e contextos próprios que não teram fim.

Olha o seguinte fato peguei esse contexto do que escrevi acima e questione o GPT-4 se estava correto essa foi a seguinte resposta:

Suas observações estão corretas. A restrição de token é implementada para otimizar o desempenho e os recursos computacionais da plataforma. Além disso, cada sessão de chat é tratada como uma unidade individual, assim, a API não mantém uma memória do contexto fora dessas sessões individuais.

Quanto à sua ideia de criar seu próprio modelo e treiná-lo localmente, é uma abordagem viável. No entanto, é importante ter alguns pontos em mente:

Recursos de Hardware: Modelos de linguagem como o GPT-3 são extremamente computacionalmente intensivos. Eles exigem muita memória RAM e uma GPU poderosa para treinamento. A maioria das pessoas não tem o tipo de hardware necessário para treinar modelos dessa escala em casa.

Conhecimento Técnico: Treinar seu próprio modelo de deep learning requere uma compreensão sólida dos princípios de arquitetura de redes neuronais, otimização, manipulação de dados e mais.

Dados: Um modelo de aprendizado de máquina precisa de uma grande quantidade de dados para aprender eficazmente. A OpenAI treinou o GPT-3 em um conjunto de dados diversificado e gigantesco. Você vai precisar de acesso a um conjunto de dados semelhante para treinar seu próprio modelo.

Tempo: Treinar um modelo de linguagem de grande escala pode levar semanas, mesmo em hardware muito poderoso.

Informações adicionais podem ser encontradas em bibliotecas como Hugging Face Transformers, que oferece uma vasta gama de modelos pré-treinados e recursos para treinar e adaptar modelos de linguagem. Outra opção é explorar o GPT-2, que a OpenAI decidiu tornar de código aberto, ao contrário do GPT-3.

Mais uma opção é utilizar o EleutherAI, um coletivo dedicado à pesquisa em IA aberta e ética, que criou o GPT-J e GPT-Neo, ambos remodelagens do GPT-3 treinadas com os recursos da OpenAI.

Realizar esta jornada de treinamento de modelo do zero é desafiador mas certamente gratificante, especialmente se você estiver interessado em ganhar profundo conhecimento técnico no campo da linguagem natural e AI.