Executando verificação de segurança...
1

O modelo atual de codellama:code funciona bem para CPU. Porém realmente sentirá uma demora em suas resposta.

Estou atualmente experimentando do modelo codegemma:code já que aparenta ser um pouco mais leve combinado com uma configuração de predições menores. Caso queira testar basta rodar no seguinte comando:

ollama-copilot -num-predict 10 -model codegemma:code -template "<|fim_prefix|>{{.Prefix}}<|fim_suffix|>{{.Suffix}}<|fim_middle|>"

Ainda estou trabalhando para ver se consigo trazer uma melhor experiencia para CPUs.

Carregando publicação patrocinada...