Sim, você está absolutamente correto. Se considerarmos que, em essência, tudo se resume a um exercício estatístico de predição de "palavras" subsequentes, fica claro que quanto mais ampliarmos o contexto de uma sessão de chat, mais opções estatísticas o modelo encontrará para a próxima palavra, aumentando, consequentemente, a probabilidade de um erro na resposta.

Para ilustrar este conceito, podemos recorrer ao famoso paradoxo do programa de TV conhecido como o "Problema de Monty Hall". Neste show, o apresentador apresenta ao concorrente três portas, uma das quais esconde um carro (o prêmio), e as outras duas, cabras. O jogador escolhe uma porta inicialmente. Em seguida, Monty, que conhece o que está por trás de todas as portas, abre uma das duas portas restantes que o jogador não escolheu e que contém uma cabra. Monty então pergunta ao jogador se ele gostaria de manter sua escolha original ou mudar para a única porta restante não aberta.

A intuição pode sugerir que não importa se o jogador muda de porta ou não, pois agora existem apenas duas portas e, portanto, a probabilidade seria de 50%. No entanto, as probabilidades estatísticas contam uma história diferente. Se o jogador mantiver sua escolha original, a probabilidade de ganhar o carro é de apenas 1/3, enquanto se ele mudar de porta, a probabilidade aumenta para 2/3.

Este paradoxo, embora contra-intuitivo, destaca a importância do contexto na análise estatística. Da mesma forma, se ampliarmos o contexto de uma sessão de chat e acrescentarmos mais "portas" (ou seja, opções de palavras), a probabilidade de "acertar" a próxima palavra correta (ou seja, produzir uma resposta relevante e precisa) diminui, assim como no "Problema de Monty Hall", a probabilidade de ganhar diminui se o jogador não mudar sua escolha depois que uma das portas erradas é eliminada.

A compreensão precisa de como o ChatGPT funciona nos permite explicar, de uma perspectiva matemática, por que após a exportação de todos os arquivos para o contexto de uma sessão de chat e a instrução ao GPT-4 para executar uma tarefa, os primeiros prompts se mostram particularmente brilhantes. No entanto, à medida que solicitamos a criação de novos recursos e outros comandos, é notável que a qualidade das respostas se degrada progressivamente. Em termos estatísticos, sempre que ampliamos o contexto, a qualidade das respostas tende a se reduzir gradualmente em direção à mediocridade.

Questiona-se então se, com o desenvolvimento e lançamento de novas versões do GPT, essa degradação gradual será menos aparente.

Idealmente, devemos ter a capacidade de enviar todos os arquivos de contexto, registrar instantâneos do contexto com todos os arquivos relevantes e, ao realizar um novo prompt, fazê-lo com um contexto limpo, como se fosse uma nova sessão, mas que já contém todos os arquivos funcionais recentes. Parece que um procedimento semelhante a este será necessário mas atualmente não é possível fazê-lo de maneira automática.

A sua resposta ilustra as limitações inerentes aos Modelos de Linguagem de Grande Escala (LLMs), categoria de AI na qual o ChatGPT se insere.