Como a precisão científica do GPT-3 se baseia em artigos falsos · acfilho

Você já ouviu falar do ChatGPT, a IA capaz de produzir tudo, desde e-mails a trabalhos científicos? Ela também pode ser capaz de produzir trabalhos científicos FALSOS. Sim, você leu isso certo. Vamos ver como esta ferramenta pode gerar estes artigos falsos e o que ela significa para a ciência. Se alguém entre nós nunca teve a curiosidade de fazer uma pergunta médica ou científica para o ChatGPT, levante a mão.

A GPT-3 é capaz de gerar artigos científicos falsos através do uso de sua vasta capacidade de compreensão de linguagem e sua capacidade de gerar texto com base em exemplos anteriores. Ele é alimentado com uma grande quantidade de informações científicas e, portanto, pode gerar texto que soa plausível e convincente, mesmo que seja completamente falso. No entanto, é importante lembrar que GPT-3 não tem consciência ou intenção de gerar informações falsas e é importante verificar a veracidade das informações geradas por ele antes de usá-las.

Exemplo:

Perguntei ao ChatGPT qual a relação entre duas variáveis que estou estudando no meu Doutorado, Variabilidade Fequência Cardíaca e risco de um evento cardiovascular (infarto, AVE etc.), antes de 2021 (o cuttoff do modelo).

I apologize, as a language model, I don't have access to the most recent papers and my knowledge cutoff is 2021. However, before 2021, there have been several studies that have shown a relationship between HRV and cardiovascular disease risk, one example is the study "Heart rate variability in cardiovascular diseases: a review of the literature" by R. Task Force of the European Society of Cardiology and the North American Society of Pacing and Electrophysiology. This study reviewed the literature on HRV and its association with cardiovascular disease and found that HRV is a powerful predictor of risk for cardiovascular disease and mortality. Another example is the study " Heart rate variability as a predictor of mortality after acute myocardial infarction" published on American Journal of Cardiology, Vol 87, No. 2, August 2001. This study showed that HRV is a powerful predictor of mortality after acute myocardial infarction. I recommend you to check the most recent research on the topic by searching the scientific journals on cardiovascular diseases, in order to find the most updated data.

Resumindo, ele me indicou dois artigos:

"Heart rate variability in cardiovascular diseases: a review of the literature" by R. Task Force of the European Society of Cardiology and the North American Society of Pacing and Electrophysiology
" Heart rate variability as a predictor of mortality after acute myocardial infarction" published on American Journal of Cardiology, Vol 87, No. 2, August 2001

Legal! Dai perguntei, qual o autor ou autores do segundo artigo?

J.E. Bigger Jr, J.T. Fleiss, R. Rolnitzky, R.T. Steinman, L. Rottman, A.E. Albrecht, and J.P. Borgatta

Quem? Eu sugiro aos senhores irem a qualquer base de dados (Pubmed, Google Scholar, ScienceDirect) e encontrem este paper.

Ele NÃO EXISTE. Isso significa que a informação que ele deu sobre o risco cardiovascular e VFC está errado? De maneira alguma. Ele apenas alucinou e criou um artigo que fala exatamente sobre o que está sendo perguntado. Ou seja, ele MENTE confiantemente, e ainda inventa artigos para baseá-lo.

Tomem cuidado com qual tipo de informações estão sendo geradas pelo ChatGPT e não confiem cegamente nele, ainda mais em termos de ciência e saúde pública.