Provavelmente ele usa. A OpenAI, apesar do nome, não é tão open assim, e não divulga a lista exata de todas as fontes usadas. Mas dá pra inferir com certo grau de certeza que o Stack Overflow foi usado no treinamento da IA.

De qualquer forma, o problema é que por causa da forma como o ChatGPT funciona, muitas vezes ele mistura informações de várias fontes relacionadas, de maneira aleatória, e acaba respondendo algo errado. Pra texto comum isso já é um problema, imagina então pra código, que é algo altamente sensível ao contexto, e uma vírgula a mais pode mudar tudo.

O resultado é esse, e pra ser sincero a taxa de acerto foi até maior do que eu esperava (eu particularmente nunca consegui chegar perto disso, talvez eu seja um inapto em elaborar prompts decentes).