Uma coisa que me deixa intrigado é que usamos modelos com float16 porque precisamos de determinada precisão para carregar o nível de correlação entre determinados neurônios. Se usamos os valores ternários de um starship simples como manteríamos a precisão?
Em resposta a A era de LLMs binárias BitNet 1.58b
1
1
Também não sei. Queria ver um modelo open source que usasse essa abordagem.