Sua observação é profundamente intrigante. Não descarto a possibilidade de que o experimento que conduzi simplesmente tenha sido capaz de contornar as aparentes limitações do GPT-4, ajudando-o a superar possíveis restrições decorrentes de um nerf que a OpenAI pode ter imposto no seu modelo.

Agradeço por seu feedback! Eu mesmo só cheguei à conclusão de que o modelo tenderá sempre a ser menos acertivo à medida que o contexto aumente após refletir sobre o comentário do @walacysilva

Sim, a privacidade certamente merece destaque e é uma preocupação vital à medida que aumentamos nossa dependência em serviços como o Chat GPT. Contudo, o propósito aqui é explorar a competência do modelo em desenvolver software inteiramente do zero. Este experimento demonstrou eficazmente a possibilidade de revitalizar a "inteligência" do ChatGPT, tornando-o novamente útil neste contexto de desenvolvimento de software.

O cenário ideal implicaria em operar o modelo localmente, em modo offline, sem a imposição de filtros ou restrições. Afinal, parece ilógico pagar pelo uso do Chat GPT apenas para nos depararmos com restrições aparentemente absurdas no número de mensagens permitidas no GPT-4 e até mesmo um nerf. Recentemente, Fabio Akita discutiu em um video a viabilidade de executar determinados modelos localmente, incluindo a possibilidade de operação até mesmo em hardwares embarcados com recursos severamente limitados.

Discordo da sua posição sobre o limite de contexto do Chat GPT. Na minha experiência, nunca identifiquei tal restrição. Suspeito que a questão possa residir na maneira como você está programando com o Chat GPT. Se você não está fornecendo informações críticas ao "contexto", como nome do projeto, diretório do arquivo e similares, isso pode levar à sobrecarga do modelo com um emaranhado de informações desconexas ou bagunçadas, afetando sua habilidade de processamento.

Na extensão que criei, o Chat GPT mostrou-se eficaz ao operar sem quaisquer limitações de contexto. Com todos os dados relevantes ao seu dispor e inclusive aqueles que podem parecer triviais para o usuário ele foi capaz de criar novas pastas, sugerir a estrutura de diretórios ideal para um projeto, e até mesmo realizar tarefas de refatoração, manipulando diretórios, nomes de pastas, arquivos e código (o que me surpreendeu bastante). O modelo também utilizou autonomamente middlewares, models e controllers, simplesmente porque já tinha essas informações armazenadas no "contexto" quando eu pedia para que ele criase determinados arquivos ou funções.

O limite real do modelo está na quantidade de caracteres por mensagem. Por isso, sugiro que use a minha extensão e exporte cada arquivo do seu projeto de maneira individual. Ainda que seja viável obter todos os arquivos de uma só vez na área de transferência com a extensão, a estratégia mais eficaz é enviar arquivo por arquivo, sobretudo se eles forem extensos. Isso pode atenuar o problema do contexto desorganizado e maximizar o potencial do Chat GPT.

O mais fascinante deste experimento foi descobrir novas maneiras de tirar proveito das habilidades do Chat GPT e aprender a potencializar seu uso. A extensão que desenvolvi foi capaz de oferecer suporte automatizado exatamente nessa "organização" que você mencionou.

O tamanho do projeto atual já está com 5725 linhas de códigos e você pode constatar o seu tamanho com o comando cloc que anexo abaixo:

 guilhermelim@Genap ~/projects/my-api main prompt> cloc --vcs=git .
     207 text files.
     207 unique files.
     212 files ignored.

github.com/AlDanial/cloc v 1.90  T=0.11 s (1896.3 files/s, 65229.5 lines/s)
-------------------------------------------------------------------------------
Language                     files          blank        comment           code
-------------------------------------------------------------------------------
TypeScript                     136            697            482           5191
SVG                             57              0              0            401
JSON                             5              0              0            116
JavaScript                       2              1              6             15
Markdown                         1              3              0              2
-------------------------------------------------------------------------------
SUM:                           201            701            488           5725
-------------------------------------------------------------------------------

Sim, você está absolutamente correto. Se considerarmos que, em essência, tudo se resume a um exercício estatístico de predição de "palavras" subsequentes, fica claro que quanto mais ampliarmos o contexto de uma sessão de chat, mais opções estatísticas o modelo encontrará para a próxima palavra, aumentando, consequentemente, a probabilidade de um erro na resposta.

Para ilustrar este conceito, podemos recorrer ao famoso paradoxo do programa de TV conhecido como o "Problema de Monty Hall". Neste show, o apresentador apresenta ao concorrente três portas, uma das quais esconde um carro (o prêmio), e as outras duas, cabras. O jogador escolhe uma porta inicialmente. Em seguida, Monty, que conhece o que está por trás de todas as portas, abre uma das duas portas restantes que o jogador não escolheu e que contém uma cabra. Monty então pergunta ao jogador se ele gostaria de manter sua escolha original ou mudar para a única porta restante não aberta.

A intuição pode sugerir que não importa se o jogador muda de porta ou não, pois agora existem apenas duas portas e, portanto, a probabilidade seria de 50%. No entanto, as probabilidades estatísticas contam uma história diferente. Se o jogador mantiver sua escolha original, a probabilidade de ganhar o carro é de apenas 1/3, enquanto se ele mudar de porta, a probabilidade aumenta para 2/3.

Este paradoxo, embora contra-intuitivo, destaca a importância do contexto na análise estatística. Da mesma forma, se ampliarmos o contexto de uma sessão de chat e acrescentarmos mais "portas" (ou seja, opções de palavras), a probabilidade de "acertar" a próxima palavra correta (ou seja, produzir uma resposta relevante e precisa) diminui, assim como no "Problema de Monty Hall", a probabilidade de ganhar diminui se o jogador não mudar sua escolha depois que uma das portas erradas é eliminada.

A compreensão precisa de como o ChatGPT funciona nos permite explicar, de uma perspectiva matemática, por que após a exportação de todos os arquivos para o contexto de uma sessão de chat e a instrução ao GPT-4 para executar uma tarefa, os primeiros prompts se mostram particularmente brilhantes. No entanto, à medida que solicitamos a criação de novos recursos e outros comandos, é notável que a qualidade das respostas se degrada progressivamente. Em termos estatísticos, sempre que ampliamos o contexto, a qualidade das respostas tende a se reduzir gradualmente em direção à mediocridade.

Questiona-se então se, com o desenvolvimento e lançamento de novas versões do GPT, essa degradação gradual será menos aparente.

Idealmente, devemos ter a capacidade de enviar todos os arquivos de contexto, registrar instantâneos do contexto com todos os arquivos relevantes e, ao realizar um novo prompt, fazê-lo com um contexto limpo, como se fosse uma nova sessão, mas que já contém todos os arquivos funcionais recentes. Parece que um procedimento semelhante a este será necessário mas atualmente não é possível fazê-lo de maneira automática.

A sua resposta ilustra as limitações inerentes aos Modelos de Linguagem de Grande Escala (LLMs), categoria de AI na qual o ChatGPT se insere.

Não vejo qualquer inconveniente em compartilhar o código, desde que você garanta que não estão inclusos dados sensíveis. Como exemplo, costumo enviar um arquivo 'env.example' alterado com valores de variáveis de ambiente modificados. Compreendo que enviar arquivos para o chat GPT pode ser uma preocupação, no entanto, não vejo isso com muita apreensão. Afinal, é improvável que a própria OpenAI consiga formatar e unir todos os códigos enviados em um único arquivo, mesmo que você compartilhe todo o código.

Além disso, é importante lembrar que praticamente todas as linhas de código que você possa escrever, já foram provavelmente escritas por alguém em algum repositório público do GitHub e, sem dúvida, contribuíram para o treinamento do modelo GPT.

Eu, pessoalmente, não me preocupo muito com isso, embora entenda a vantagem de poder executar um modelo offline. Sugiro que você assista a este vídeo do Akita. Ele demonstra como operar localmente um modelo com desempenho semelhante ao do GPT-4.

Compreendo o seu ponto de vista, mas sinto a necessidade de expressar a minha discordância. Seu argumento teria maior validade, ainda que com algumas ressalvas, se estivéssemos discutindo especificamente o ChatGPT, que não foi inicialmente concebido para atuar na programação. Contudo, é importante salientar que o modelo gpt-4 tem sido extremamente útil na realização de uma variedade de tarefas, diminuindo cada vez mais a minha dependência de leitura de documentações técnicas ou de consultas ao StackOverflow - falando nisso, esse site ainda existe?! 🤔

O modelo, por si só, tem se revelado de valor inestimável, proporcionando contribuições significativas para o desenvolvimento de sistemas através de ferramentas como o GitHub Copilot, além de incorporar novos recursos que a Microsoft tem implementado no pacote Office, entre muitas outras inovações emergentes. Portanto, apesar de reconhecer suas limitações, não posso subestimar seu potencial nem deixar de me entusiasmar com as possibilidades que ele oferece para simplificar e otimizar nosso trabalho.