Isso é bem grave. E o pior é que geralmente quem usa o ChatoGePeTo não costuma ter a criticidade para pegar esses problemas, a pessoa obtém a resposta e usa. Quem verificaria costuma ser quem não confia em um gerador de texto que não é um programador e não usa.

E é um ciclo vicioso porque a pessoa que tenta usar esse mecanismo de LLM precisa aprender ainda, e usado ele a pessoa aprende errado e não consegue evoluir, e m vários sentidos.

Fora que isso gera algo sem contexto, que não seria um problema para alguém que consegue fazer um questionamento do resultado. Aí a pessoa começa usar a solução e torce o problema para ela se encaixar no que foi entregue pela IA.

Em outros tempos eu diria que isso acabaria rápido, mas já aprendi que não acontece. Então é torcer para que os resultados se tornem muito melhores, dando mais contexto (o que depende muito da entrada de dados, o que ainda exigiria a pessoa entender bem o que está fazendo) e evitando entregar coisas com erros graves, o que eu achamo que LLM não é a solução para isso, ainda mais porque usa como base de dados a internet que sabemos que em alguns assuntos tem mais o erro que o acerto.

E não adianta alertar, quase sempre haverá, como sempre, duas bolhas, e uns vão embarcar nessa sem dó, e outros vão perceber de uma forma ou de outra, mesmo sem o alerta, por isso eu estou estou formando material para escrever algo canônico meu sobre o assunto e depois não vou ficar falando tanto.

Faz sentido?

Espero ter ajudado.

Farei algo que muitos pedem para aprender a programar corretamente, gratuitamente. Para saber quando, me segue nas suas plataformas preferidas. Quase não as uso, não terá infindas notificações (links aqui).