Pesquisadores da Microsoft desenvolvem modelo de IA que roda em CPUs

Pesquisadores da Microsoft anunciaram o desenvolvimento do BitNet b1.58 2B4T, considerado o maior modelo de IA de 1 bit já criado — uma categoria conhecida como “bitnets”. Esses modelos são versões compactadas e otimizadas para rodar em hardwares mais simples, como CPUs.

Em modelos tradicionais, os chamados “pesos” — responsáveis por definir a estrutura interna das redes neurais — passam por um processo de quantização, que permite reduzir o consumo de memória e otimizar o desempenho em diferentes dispositivos.

No caso dos bitnets, os pesos são ainda mais simplificados e representados com apenas três valores possíveis: -1, 0 e 1. Essa abordagem promete ganhos em eficiência de memória e processamento em relação aos modelos convencionais. O BitNet b1.58 2B4T é o primeiro bitnet a atingir a marca de 2 bilhões de parâmetros.

Em testes de benchmark no HumanEval+, voltados para tarefas de programação, o modelo pontuou 38,4%, superando o Llama 3.2 1B, da Meta, que obteve 31,1%.

Para atingir esse nível de desempenho, o BitNet b1.58 2B4T depende de um framework customizado da própria Microsoft, chamado bitnet.cpp, que por enquanto é compatível apenas com hardwares específicos — GPUs, por exemplo, não estão suportadas.

O modelo já está disponível na plataforma HuggingFace sob a licença MIT.