Prezado, não seria o caso do Ollama?
No site https://ollama.com/ é posssível usar modelos menores mais simples como o Llama 3.3, Phi 3, Mistral, Gemma 2, e outros.
Respondendo a "O problema é usar este modelo. Precisa de um bo..." dentro da publicação DeepSeek anuncia maior modelo de IA de código aberto
1