Localmente uso o ollama com llama3.1:8b com o all-MiniLM-L6-v2 para testes RAG simples - um note com 64Gb RAM e GTX 1650 4Gb Ram (pois eh...)

Lento ? Sim, mas usavel para testes.

Por conveniencia, uso como frontend o anythingllm cloud (docker) e eventualmente o anythingllm desktop (mas tambem as vezes o webui ou o taskingai - tudo sempre local)

Para testes mais serios ou uso conexao com os LLM providers (deepseek principalmente, mas tambem openai, gemini, claude, groq, etc) ou uma experimentacao que estou fazendo com o beta da VULTR para IA (50M tokens por US 10)

O SmolVLM-500M devo colocar testes ainda este final de semana.

Nenhum segredo aqui: na VULTR estao disponibilizando um beta aberto para uso de IA (menu serveless / inference)

No deploy da instancia, cobram US 10 por 50M tokens - modelos: llama3.1:70b e llama3.3:70b e outros.

Alem disso, ofertam US 250 para deploy de GPU.

Vale a pena pra brincar.

Localmente uso o ollama com llama3.1:8b com o all-MiniLM-L6-v2 para testes RAG simples - um note com 64Gb RAM e GTX 1650 4Gb Ram (pois eh...) Lento ? Sim, mas usavel para testes. Por conv...

Localmente uso o ollama com llama3.1:8b com o all-MiniLM-L6-v2 para testes RAG s · Oletros

Entendi, tem o weaviate para bd tbm. Pessoal do...