Lidando com IA e Extração de Dados com Ollama LLMs

Opa pessoal! Recentemente, enfrentei alguns desafios ao tentar extrair dados de uma string para JSON no meu projeto. O exemplo foi o seguinte:

Entrada:

"Hoje eu joguei God of War, por 10 horas seguidas"

Saída:

{
  "jogo": "God of War",
  "tempo": "10 horas"
}

Desafio 1 - Tempo de Resposta:

O primeiro obstáculo foi o tempo de resposta da IA. Eu estava utilizando a ferramenta da Ollama localmente e, após alguns testes, percebi que o número de parâmetros do modelo afeta diretamente a velocidade. Para o meu caso, modelos com 2B de parâmetros funcionaram muito bem. Lembre-se, quanto menos parâmetros, mais "limitada" pode ser a resposta da IA, então recomendo algo entre 2B e 7B para equilibrar velocidade e capacidade.

Desafio 2 - Formatação da Resposta:

A segunda barreira foi garantir que a IA me retornasse apenas um JSON, sem explicações extras. No começo, tentei colocar no prompt algo como “SOMENTE O JSON, SEM DESCRIÇÕES!”, mas isso nem sempre funcionava. A solução foi usar a opção format: "json", que forçou a IA a responder apenas em formato JSON.

Correção de Erros:

Também fiz um pequeno tratamento na resposta, removendo json que aparecia no início da string, para garantir que o retorno fosse 100% limpo.

Aqui está o código que usei:

{
    prompt: prompt,
    stream: false,
    temperature: 0.0,
    model: "llama3.2",
    format: "json",
}

Conclusão:

Espero que esse pequeno ajuste ajude quem esteja enfrentando dificuldades semelhantes. Se alguém tiver dicas ou soluções adicionais, sinta-se à vontade para compartilhar!