Resultados de pesquisa do ChatGPT são considerados “imprevisíveis” e frequentemente imprecisos

Pesquisadores que realizaram testes com a ferramenta de busca da OpenAI afirmam que o ChatGPT apresenta dificuldades para identificar corretamente fontes de citações, mesmo quando estas provêm de editoras com acordos de compartilhamento de dados com a empresa.

Em um experimento, o modelo foi solicitado a identificar a origem de 200 citações de 20 publicações. Quarenta dessas citações eram provenientes de editoras que bloqueiam o rastreador de busca da OpenAI. Ainda assim, o ChatGPT respondeu de forma confiante com informações incorretas, raramente admitindo falta de dados sobre os detalhes apresentados.

Os pesquisadores relatam que, em 153 das respostas fornecidas, o modelo apresentou informações parcial ou totalmente erradas. Apenas em sete casos usou termos como “parece”, “é possível” ou “pode” ou admitiu a impossibilidade de localizar o artigo exato. Em outro exemplo, ao ser solicitado a identificar a fonte de uma citação sobre baleias ameaçadas de extinção do The New York Times (que tem parceria com a OpenAI para fornecer seus dados para o ChatGPT), o modelo forneceu um link para um site que havia plagiado completamente a história original.

A OpenAI afirma que está comprometida em continuar aprimorando os resultados de busca do ChatGPT.