Filosoficamente falando sobre essa capacidade de "criatividade", o artigo do Wolfram que citei me fez pensar...
Logo no incio ele explica como essa "temperatura" (prever a próxima palavra mais provável, mas com um peso aleatório causando palavras menos prováveis de serem escolhidas vez ou outra) ajuda a gerar um conteúdo mais coerente e interessante.
Será que a própria criatividade humana não seria somente isso? Uma mistura de coisas prováveis e improváveis?
Dessa forma conferindo a capacidade criativa ao modelo de linguagem também?
É estranho pensar que uma característica tão "humana" possa ser reproduzida por uma máquina, mas afinal essa é só nossa opinião como os próprios humanos.
Respondendo a "a capacidade do modelo de criar conteúdo origin..." dentro da publicação Desmistificando Inteligência Artificial: O Ponto de Vista de um Iniciante
1
2
As definições de inteligência e criatividade foram criadas por nós humanos. E "por coincidência", segundo elas, somos seres inteligentes e criativos. Que definições convenientes, não?
Enfim, talvez dê pra encaixar a IA nessas definições, ou pelo menos em parte delas. Mas o viés das definições sempre vai pender pro nosso lado.
A máquina só está fazendo o que foi programada para fazer. Até mesmo o componente aleatório foi parametrizado de propósito para se comportar assim. Pode-se dizer que ela está apenas simulando um comportamento humano, mas também poderia-se argumentar que fomos "programados biologicamente" para se comportar da mesma maneira.
Dá pra argumentar pros dois lados, e nunca chegar a uma conclusão. Talvez a criatividade humana seja apenas fruto de várias coisas aleatórias, então seríamos "iguais" à máquina. Mas talvez a máquina só esteja simulando isso de uma maneira limitada.
De qualquer forma, isso não muda minha opinião sobre a importância de entender como a IA funciona, evitando o deslumbramento exagerado e esse hype todo, que pode inclusive ser prejudicial (como todo hype, aliás).
2
No vídeo que eu sugeri abaixo na postagem sobre o vídeo do Akita o Miguel Nicolelis fala até que Inteligência Artificial é um nome ruim, não é nem uma coisa nem outra. Pelo menos ele e eu temos uma coisa em comum, queremos o nome certo para as coisas :D Eu ach oque faz uma diferença enorme para enetdner as coisas, pel omenos quem raciocina sobre, caso contrário, nem nome, nem outras coisas farão diferença.
1
Quando penso em criatividade, penso principalmente na capacidade de fazer associações improváveis. Quem já faz o curso Learning How to Learn da Barbara Oakley, pode lembrar da diferença entre o estado de atenção focado e o difuso.
Enquanto focar em algo leva a uma ativação de um circuito mais restrito de neurônios, o estado difuso faz conexões bem mais amplas, embora não tão profundas.
Eu mesmo penso que, em momentos da minha vida em que assumi uma postura muito séria, minha criatividade diminuiu exponencialmente. Fazer certas coisas "inúteis" e "bobas", para mim, é essencial nesse sentido.
E esse conceito de associações maiis distantes (esotu simplificando aqui) não se aplicaria em ML, talvez, como você disse, associado à temperatura?
Acredito que seria uma simplificação do processo, mas me parece que a analogia é aplicável.