517 perguntas do Stack Overflow foram testadas no sistema. Mesmo assim, as respostas convenceram 40% dos participantes, devido à sua abrangência e estilo de linguagem bem articulado.
Só confirma o que muitos vêm alertando (inclusive aqui: 1, 2, 3, 4).
Uma vez que vc entende como o ChatGPT funciona, começa a perceber que ele não tem como ser tão assertivo quanto gostaríamos. Essa consciência de que ele não é infalível é essencial para usarmos a tecnologia de uma forma melhor e mais produtiva.
No estágio atual, ele ainda é um estagiário limitado, porém confiante: diz as maiores barbaridades, mas com uma convicção tão grande que até te convence.
Claro que é uma ferramenta útil e provavelmente vai melhorar nos próximos anos. Mas ainda sim, precisa conferir muito bem tudo que ele responde. Muitas vezes tem erros graves porém sutis, que só um olhar mais atento e experiente consegue perceber (ou seja, iniciantes terão ainda mais dificuldade de separar o joio do trigo - até mesmo pessoas experientes têm caído na armadilha e deixado passar algumas coisas).
Bom, tenho usado o chatGpt já alguns meses, trabalho com Java, react e logo mais com Golang, e digo pelo menos pra mim ele é um bom mentor ou colega.
Em vez de 50 abas abertas procurando uma solução, eu resolvo a maioria das minhas dúvidas com ele, como ouvir dizer uma vez, nossa cabeça não é boa para guardar coisas pq somos feitos para pensar, e com isso o GPT tem me ajudado e codar mais rápido.
Mas claro, é bom saber do assunto e formular a questão isso ajuda 👍
Essa nova versão do GPT3.5 e GPT-4 estão muito pouco assertivas. Eu utilizo a API em uma solução e a diferença é nítida. A API do primeiro modelo do GP-4 é muito mais competente.
Talvez seja por conta das restrições e prompts iniciais, mas para mim algo aconteceu.
Outra coisa que percebi é que o chatGPT-4 de agora não busca mais alternativas sólidas, ele fica sempre na mesma lógica de resposta, mesmo vc afirmando que está errado, isso já não ocorre com a API, pelo menos para mim.
O negócio é saber usar, pois msm dando a resposta errada (e vc sabendo q está errada) ele ajuda. Qts vzs vc n estava com ¨visão de túnel¨ e bastou q alguém de fora sugerisse algo, por mais besta que fosse (ou errado), pra vc ter o insight da solução correta?
Pois é, muito código que pedi veio e errado e/ou desatualizado.
Mas não posso dizer que ele não ajuda, porém, a versão gratuita está ficando mais burra...
É natural que com esse "emburrecimento" a 3.5 acabe sofrendo mais, mas ouço reclamações até da GPT 4
Pode ser que IA programe sozinho um dia, pode ser.
Mas hoje em dia, ele serve para
Ela não fará mais que isso, e nem tente.
Mas e se o chatgpt usa coisas como Stack Overflow para formular as respostas?
Provavelmente ele usa. A OpenAI, apesar do nome, não é tão open assim, e não divulga a lista exata de todas as fontes usadas. Mas dá pra inferir com certo grau de certeza que o Stack Overflow foi usado no treinamento da IA.
De qualquer forma, o problema é que por causa da forma como o ChatGPT funciona, muitas vezes ele mistura informações de várias fontes relacionadas, de maneira aleatória, e acaba respondendo algo errado. Pra texto comum isso já é um problema, imagina então pra código, que é algo altamente sensível ao contexto, e uma vírgula a mais pode mudar tudo.
O resultado é esse, e pra ser sincero a taxa de acerto foi até maior do que eu esperava (eu particularmente nunca consegui chegar perto disso, talvez eu seja um inapto em elaborar prompts decentes).
seria como uma linguagem de programação , onde o programador se fizer besteira , retorna besteira....
Acho que o chat GPT é bom pra quando você precisa fazer algo que é simples e você desconhece. Eu tentei utilizar o Chat GPT de verdade uma vez e obtive caso de sucesso onde adiantou muito o trabalho.
sucesso: Usei para criar um container de uma aplicação legado em PHP sem saber nada de docker(ainda não sei quase nada). Passei as especifícações que queria(algumas varias vezes) e detalhando muito até obter alguma coisa.
Porém tentei utilizar para entender alguns detalhes da configuração de rotas no symphony 2 e ele não gerava nada(ai vai na boa e velha).
Se o que você precisa é um conhecimento na que ta na "moda" acho que ele consegue te adiantar algumas horas/dias.
Agora se você precisa de algo muito específico é melhor ir na maneira tradicional.