Intel, Arm e Nvidia propõem novo padrão para tornar o processamento de IA mais eficiente

Recentemente, as empresas Intel, Arm e Nvidia publicaram uma especificação preliminar para o que elas chamam de formato de intercâmbio comum para IAs.

Embora voluntário, o padrão proposto de “8-bit floating point (FP8)” teria o potencial de acelerar o desenvolvimento de Inteligências Artificiais, permitindo a interoperabilidade de plataformas, otimizando o uso de memória de hardware e funcionando tanto para treinamento (engenharia de sistemas de IA) quanto para inferência (execução de sistemas).

Ao desenvolver um sistema de IA, os cientistas de dados precisam selecionar um formato para representar os pesos do sistema – ou seja, os fatores aprendidos com os dados de treinamento que irão influenciar as previsões do software.

Os formatos mais comuns incluem o floating point de meia precisão (ou FP16), que usa 16 bits, e o de precisão simples (FP32), que usa 32 bits.

Formatos de menor precisão reduzem a quantidade de memória necessária para treinar e executar um sistema de IA, enquanto aceleram os cálculos e até mesmo reduzem a largura de banda e o uso de energia. Mas, por outro lado, eles também sacrificam alguma precisão para alcançar esses ganhos.

Nesse sentido, o FP8 (8 bits) surgiria como o ponto ideal. Segundo o diretor de marketing de produtos da Nvidia, Shar Narasimhan, o padrão proposto mostra uma “precisão comparável” a formatos de 16 bits, enquanto fornece acelerações “significativas”.

Para tanto, a Nvidia, Arm e Intel disseram estar transformando seu formato FP8 license-free em um formato aberto.

Se considerarmos que a arquitetura do GH100 Hopper, da Nvidia, implementa nativamente o FP8 - assim como o chipset de treinamento Gaudi2 AI da Intel -, a adoção desse padrão poderia favorecer o trio de empresas.

Entretanto, o mesmo valeria para os concorrentes que experimentaram ou adotaram alguma forma de FP8 para o desenvolvimento de seus sistemas - como as empresas SambaNova, AMD, Groq, IBM, Graphcore e Cerebras.