^{_{E lá vamos nós mais uma vez :-)}}

Primeiramente, leia aqui (e veja o vídeo, e leia também os links indicados). O texto é sobre o ChatGPT, mas muita coisa se aplica ao Bard, já que ambos são modelos de linguagem que, embora tenham diferenças, no fundo possuem funcionamento similar. E a ideia básica é que eles estão "só" completando a próxima palavra.

Basicamente, resumindo de forma bem grosseira, vc pega um zilhão de textos (no caso, da Internet) e analisa a frequência de cada palavra, não só individualmente, mas também em conjunto com outras palavras. Depois, ele analisa as palavras já existentes (tanto o prompt que vc digitou, quanto as que a própria IA foi adicionando), verifica quais tem maior probabilidade de ser a próxima, e adiciona um componente aleatório (chamado "temperatura") para não escolher sempre a mesma e dar a ilusão de "criatividade". A partir daí ele adiciona essa palavra e repete o processo.

É "só" isso

Claro, "só" entre aspas porque o processo como um todo é complexo, há etapas de treinamento humano envolvidas, a matemática por trás é algo que ainda estou tentando começar a entender, e o próprio processamento para gerar os textos é bem pesado. Mas no fim é isso: ele analisa as palavras já existentes, adiciona a próxima (de acordo com as probabilidades já citadas), depois analisa as já existentes (incluindo a que acabou de ser adicionada), adiciona a próxima, e assim por diante. Claro que existe um limite na quantidade de palavras que ele considera, mas é grande o suficiente para manter uma conversa "coerente" (ou seja, ele consegue "manter o contexto", na medida do possível).

E só. Ele não pensa, não "sabe" das coisas, não tem sentimentos nem intenções, tampouco consciência do que diz. Por isso, quando vc pergunta se ele estava falando sério ou apenas criando uma historinha fictícia, pode-se até dizer que é a segunda opção, mas com muitas ressalvas. Ele só está adicionando a próxima palavra.

Quanto ao caso de Blake Lemoine, como bem disse este artigo, ele é "mais um caso do cientista devorado por sua criatura". As IA's geradoras de texto (ainda) não têm consciência, elas são meros geradores de lero-lero (ou auto-complete) ultra-avançados. Impressionantes, claro, e com muitas utilidades, mas por favor, vamos deixar o deslumbramento cego de lado. Já temos falso alarmismo demais vindo da "mídia especializada" e dos "influencers" de plantão.