Meu problema não é com o ChatGPT em si. Eu acho que é uma tecnologia com muito potencial, e mesmo hoje já tem várias coisas interessantes sendo feitas.
Meu problema é com o conteúdo raso, principalmente quando vem junto de um certo exagero, que tenta atribuir ao ChatGPT características que ele não tem. Ele não sabe coisas, não tem capacidade de raciocínio ou análise, não expressa emoções ou sentimentos. Ele é "só" um auto-complete turbinado.
Para quem quiser se aprofundar, sugiro este artigo, que é bem longo e explica em detalhes como o ChatGPT funciona. E tem também este post.
Já fiz um resumo aqui, mas basicamente: ele foi treinado com zilhões de textos da internet (a Wikipedia inteira, diversos artigos, blogs, etc - a lista completa eu não achei, e nem sei se foi divulgada), processou tudo, e criou uma gigantesca base de dados contendo a frequência com que cada combinação de palavras aparece em cada contexo analisado.
Sendo assim, cada vez que vc pergunta algo, ele analisa as palavras e usa seus bilhões de parâmetros para determinar o contexto. Depois, consulta na base dele qual a próxima palavra mais provável de aparecer (com base nos textos que ele analisou, no contexto e nas palavras que já foram adicionadas antes). E faz isso para cada nova palavra que ele adiciona.
O mesmo artigo diz que nem sempre ele pega a mais provável (senão sempre daria a mesma resposta): muitas vezes ele pega outras menos prováveis, para não repetir respostas e dar uma falsa sensação de "criatividade". O efeito colateral é ele por vezes alucinar (dizer coisas completamente sem sentido) - e isso também explica porque ele erra tanto, e porque tem vezes que até inventa palavras.
Ou seja, no fim das contas ele só está reproduzindo o que já foi dito na internet (no caso, podendo recombinar vários textos em um só). Ele não pensa, não analisa, não tem senso crítico nem nada disso. Ele só está adicionando uma palavra de cada vez.
Por isso meu desapontamento toda vez que alguém chega dizendo que ele tem alguma dessas características "humanas". Por exemplo, achar que ele realmente está analisando um site, quando na verdade só está gerando texto da mesma forma que faz pra qualquer outra pergunta. Ou então afirmar que ele deu uma resposta "única e personalizada", quando na verdade foi uma resposta genérica e com erros.
Sendo desenvolvedores de software, deveríamos tentar entender melhor como as coisas funcionam, e principalmente, saber que não existe magia por trás disso. Não deveríamos ficar com esse deslumbramento cego que muitos parecem ter. Podemos, claro, sonhar com as possibilidades. Mas sempre com um pé na realidade, sem deixar de fazer a análise crítica do processo e dos resultados.
Acho que esse é o maior cuidado que devemos tomar.