pode instalar o ollama do site ollama.com ele já abstrai grande parte do trabalho com llms, aí tu pode baixar modelos como imagens docker por exemplo ollama run llama3.2

Ele vai baixar e rodar o modelo. Além de disponibilizar o acesso através de uma api no localhost:11434.

Para usar no vscode, tem uma extensão muito boa que pode encontrar no site continue.dev, ela permite adicionar modelos via llm para autocomplete de código além de uma interface na lateral para conversar com o modelo similar com o gpt.