a capacidade do modelo de criar conteúdo original e criativo
Não. Há alguns dias eu fiz um post aqui sobre um vídeo do Akita que explica em detalhes como o ChatGPT funciona. E uma das coisas importantes que o vídeo faz é justamente derrubar este mito da originalidade e criatividade. A IA não tem essas características, ela só passa a impressão que tem, por causa da forma como funciona.
Os detalhes estão explicados no vídeo (entre lá e siga os links), mas só pra resumir: o ChatGPT não consegue criar nada novo. Ele simplesmente mistura as informações que tem, e só. E existe um parâmetro chamado "temperatura" que introduz uma certa aleatoriedade, fazendo com que ele não repita sempre as mesmas respostas (dando a falsa sensação de que é "criativo").
"Transformer" (não tenho certeza sobra esse) refere-se à capacidade do modelo de transformar conteúdos prévios ou ajustar-se a diferentes contextos, proporcionando flexibilidade em sua geração de conteúdo
Sobre o transformer, na verdade ele é um mecanismo que introduz o conceito de "atenção" (a ideia de "prestar mais atenção" a determinadas partes do texto). Isso é algo que não me aprodundei o suficiente, então não consigo descrever o mecanismo. Mas enfim, além do artigo que vc citou (que explica mais ou menos como o transformer funciona), tem também esse - e ambos eu preciso ler de novo para absorver melhor tudo isso.
De qualquer forma, que bom que vc entende que a IA não é uma ferramenta mágica (só de não cair no hype e na histeria, já está acima da média), e é muito importante desmistificá-la, ainda mais para profissionais da nossa área.
É uma ferramenta importante e ainda vai impactar muito a sociedade, e por isso mesmo temos que entender melhor como ela funciona, seus prós e contras, para que serve e principalmente para que não serve, e usá-la de acordo com cada necessidade. E também parar de atribuir à IA características que ela não tem.