Modelo “Orion” da OpenAI mostra avanços pequenos em relação ao GPT-4, segundo relatório

O ganho de qualidade e desempenho entre o GPT-4 e o Orion seria consideravelmente inferior ao salto registrado entre o GPT-3 e o GPT-4. Orion não supera seu antecessor de forma consistente em áreas como programação, com avanços concentrados nas capacidades de linguagem. Além disso, o modelo pode ter um custo operacional mais elevado em data centers do que as versões anteriores.

Pesquisadores da OpenAI destacam a falta de dados de treinamento de alta qualidade como uma das razões para essa desaceleração, já que a maioria dos textos e dados públicos já foi utilizada. Para enfrentar esse desafio, a empresa formou uma “Equipe de Fundamentos”, liderada por Nick Ryder, com o objetivo de utilizar dados sintéticos — gerados por modelos de IA — para complementar o treinamento. O Orion teria sido parcialmente treinado com dados sintéticos oriundos do GPT-4 e do novo modelo de “raciocínio”, o1. No entanto, a OpenAI reconhece que essa abordagem apresenta o risco de os modelos exibirem características dos mais antigos.

Segundo Noam Brown, desenvolvedor da OpenAI e ex-funcionário da Meta, que colaborou na criação do o1, o novo modelo busca abrir novas possibilidades de escalabilidade, mudando o foco do treinamento para a inferência — o tempo que a IA leva para completar tarefas. Essa abordagem oferece “uma nova dimensão para a escalabilidade”, embora exija bilhões de dólares e um consumo elevado de energia.