Primeiro, leia aqui (e veja os vídeos indicados lá) para entender como o ChatGPT funciona.

Assim, vai entender que ele teria exatamente os mesmos problemas e funcionaria do mesmo jeito se fosse escrito em outra linguagem.

Aliás, como já disseram, as libs que ele usa são apenas "cascas" feitas em Python, que internamente delegam o trabalho pesado para C ou C++.