Conforme ela vai ficando mais humana, ela também comete mais erros e faz mais deduções errôneas.
Eu estava pedindo bastante para o ChatGPT fazer coisas simples como concatenar uma longa cadeia de SQL para depois inserir no software, mas tive que parar de usar pois não é confiável, uma das vezes ela simplesmente adicionou um "not" na instrução SQL, foi um erro difícil de encontrar pois a instrução funcionava e eu não desconfiava que o SQL foi mexido.
2
1
Na verdade, esse é um problema geral dos modelos de linguagem grandes como a família GPT. Queremos utilizá-los como bases de conhecimento, o que não é a finalidade principal deles. Apesar de conseguirem capturar contexto em muitos casos e de gerarem textos coesos, eles podem gerar respostas totalmente incoerentes ou mesmo inventarem absurdos no processo de alucinação. Acho que não encontramos o real propósito desses modelos ainda.