Na verdade, esse é um problema geral dos modelos de linguagem grandes como a família GPT. Queremos utilizá-los como bases de conhecimento, o que não é a finalidade principal deles. Apesar de conseguirem capturar contexto em muitos casos e de gerarem textos coesos, eles podem gerar respostas totalmente incoerentes ou mesmo inventarem absurdos no processo de alucinação. Acho que não encontramos o real propósito desses modelos ainda.
Respondendo a "Conforme ela vai ficando mais humana, ela també..." dentro da publicação Inteligência Artificial: Do Workshop de Dartmouth à Revolução dos GPTs
1