Primeiramente, sugiro que leia aqui (e siga todos os links indicados lá), para entender como o ChatGPT funciona.

Ele é "só" um gerador de textos, um auto-complete avançado. Ele não "sabe" coisas, não pensa, não raciocina, não analisa, não faz nada disso que as pessoas atribuem a ele.

Ele basicamente pega as palavras atuais (incluindo o que vc digitou) e completa as próximas, baseado nas probabilidades com que tais palavras aparecem juntas nos textos que foram usados no seu treinamento. Existe um componente aleatório para que ele não retorne sempre as mesmas respostas, aumentando a ilusão de "criatividade".

Então quando ele acerta, é por pura coincidência. E não é raro ter informações completamente erradas, ou pior, com erros sutis que só um olhar mais atento pode notar. Isso é por causa da forma como ele mistura os textos, mas também das próprias fontes usadas para treiná-lo (muitos textos da internet foram usados, e sabemos como tem material ruim por aí, que ensina errado, etc).

Enfim, no post já citado (e nos demais links que o texto indica) tem informações suficientes para vc entender o funcionamento básico. E aí entenderá que o problema não é a linguagem usada para fazer o ChatGPT. Ele teria os mesmos problemas se fosse feito em qualquer outra linguagem, porque este comportamento errôneo se dá pela forma como ele foi projetado para ser.

O problema é usá-lo achando que é uma coisa, quando na verdade é outra. Ele não vai te dar informações ultra-precisas o tempo todo. Eu vejo ele mais como um estagiário não muito esperto, porém confiante (sempre tenta responder com convicção, mesmo quando não sabe, e por vezes acaba falando barbaridades). É bom para fazer algumas tarefas mais braçais, mas vc tem que revisar sempre.