Se você quer ter uma resposta mais específica para o seu caso de uso, você pode tentar enviar esses dados pro chatgpt: Linguagem, framework, caminho+conteúdo dos arquivos importantes e uma mensagem pedindo o que você quer em forma de prompt.
Eu estou fazendo vários experimentos nesse sentido porque tenho um projeto pessoal que é exatamente isso, fazer o chatgpt programar em projetos específicos.
Ainda assim o ChatGPT erra bastante, então comecei a desenvolver uma forma de melhorar isso e esse é o meu plano:
Criação de um Dataset
É possível fazer o ChatGPT responder com os seus dados, mas para isso é necessário que você faça "fine tuning" (simplificando, você monta um arquivo de texto com uma lista de jsons, cada json com "input" e "output", e aí quando o chatgpt receber determinado input, vai retornar seu output correspondente).
O bom é que o chatgpt vai generalizar seus inputs e outputs usando algoritmos avançados da OpenAI, ou seja, com uma quantidade relativamente pequena de dados, você consegue bons resultados.
Na programação é muito fácil ver projetos com estrutura e padrões diferentes, mesmo dentro de uma mesma empresa, seres humanos conseguem distinguir bem um padrão do outro, mas uma LLM não (a não ser que seja ensinada...).
O dataset que estou montando pro meu projeto tem esses campos:
- linguagem
- framework
- arquivos_de_contexto { path, original_content, modified_content }
- mensagem
Feedback Humano
Pra montar um dataset, é quase inevitável ter algum tipo de feedback humano, por isso montar datasets é algo trabalhoso e demorado.
No meu projeto, criei um banco de dados MongoDB que salva os dados acima junto com um ID e um STATUS que diz se aquela "missão" já foi revisada ou não. É possível fazer alterações na mensagem, no código e nos arquivos de contexto.
Aprendizagem Contínua
Se você quer fazer o chatgpt ficar afiado em algum assunto específico, incluindo programação, você precisa fazer o "fine tuning" de novo e de novo... Essa parte eu ainda não fiz, provavelmente vai demorar algumas semanas até eu conseguir transformar um banco MongoDB em um arquivo "jsonl" de fine tuning. Se tudo for dando certo, pretendo deixar esse processo rodando em uma cron, assim a cada X dias a IA fica mais esperta.
Comunidade
Esse é o ponto mais difícil pra mim, mas se você conseguir se juntar com pessoas que também querem fazer o chatgpt programar, juntos talvez consigam chegar mais longe.
É isso, acho que não tem uma "fórmula mágica", pro ChatGPT ficar bom ele precisa de uma ajudinha, e precisa que entusiastas, engenheiros e cientistas continuem tentando. Acho que também foi difícil criar uma lâmpada pela primeira vez, e ela não era muito boa... Hoje em dia faz parte do cotidiano, talvez o ChatGPT seja a nova lâmpada