Como rodar "Inteligência Artificial" em computadores pessoais (de forma local)
Continuando com o desafio de 1 publicação por dia no TabNews, desta vez quero destacar uma tendência que está cada vez mais pegando força que é conseguir habilitar que máquinas pessoais, incluindo coisas como Raspberry, a rodarem modelos grandes de Machine Learning de forma local e uma das bases para isso é o ggml.
No exemplo abaixo, está sendo usado o whisper.cpp dentro de um Raspberry Pi 4 para identificar comandos de voz:
Neste outro exemplo, está sendo rodado simultaneamente 4 instâncias do llama.cpp + 1 instância do Whisper num único Macbook M1 Pro:
Especulo que, quanto mais empurrarem estas tecnologias para borda (fora de um servidor central como no caso do serviço ChatGPT), tudo ao nosso redor irá ficar mais inteligente, principalmente nossos celulares 🤝
