Pesquisa indica que alunos que usam ChatGPT como assistente de estudo têm desempenho inferior em testes

O experimento foi realizado com cerca de 1.000 estudantes do ensino médio. Os resultados indicam que aqueles que utilizaram a ferramenta enquanto resolviam exercício de matemática apresentaram resultados inferiores em comparação àqueles que não fizeram uso do chatbot.

Embora os estudantes com acesso ao ChatGPT tenham resolvido 48% mais problemas práticos corretamente, eles obtiveram uma pontuação 17% menor nos testes subsequentes sobre o mesmo tema. Um terceiro grupo, que utilizou uma versão revisada do ChatGPT, configurada para atuar como um professor e oferecer dicas sem revelar diretamente as respostas, teve um desempenho melhor nos exercícios práticos, resolvendo 127% mais questões corretamente em relação aos que praticaram sem assistência tecnológica, mas ainda não demonstraram melhora nos testes posteriores.

Os pesquisadores sugerem que o problema pode estar na dependência excessiva dos alunos em relação ao chatbot, que frequentemente fornece respostas diretas, impedindo o desenvolvimento das habilidades necessárias para a resolução independente de problemas.

Além disso, o ChatGPT acertou apenas metade das questões e cometeu erros em 8% dos cálculos aritméticos, e apresentou erros no passo a passo de soluções em 42% dos casos. O uso da ferramenta também gerou uma falsa sensação de confiança nos alunos, que relataram acreditar que a tecnologia não afetou negativamente sua aprendizagem, apesar das evidências contrárias.

Os autores da pesquisa compararam esse fenômeno à dependência de pilotos no uso do piloto automático, lembrando como a Administração Federal de Aviação dos EUA (FAA) passou a recomendar que eles limitassem o uso da tecnologia para garantir que mantivessem suas habilidades manuais em situações de falha.