Pesquisa do Google demonstra que tamanho dos modelos de linguagem importam

Quanto maior o conjunto de dados ou número de parâmetros do modelo, maior a quantidade de “habilidades emergentes” que surgem “inesperadamente”, como a capacidade de realizar cálculos aritméticos simples, por exemplo.

A ideia agora é entender como desbloquear essas habilidades por meio de outros métodos sem aumento de escala, devido ao custo crescente dos recursos computacionais para treinamento.