E aí, Brunão! No Ollama, existem modelos que são quantizados. A quantização envolve a conversão de pesos de modelos de alta precisão para formatos de menor precisão, como FP8, permitindo que eles funcionem sem a necessidade de GPUs potentes, utilizando apenas a CPU.

Apesar de não serem tão precisos, vale a pena fazer alguns testes caso você ainda não tenha feito.