Executando verificação de segurança...
10

Desbloqueando o Poder do Ollama: Agora com Chamadas de Funções 🤯

Fala, galera! Hoje vou falar um pouco sobre o Ollama, uma ferramenta incrível que permite rodar modelos de IA (LLM) localmente.

A grande novidade é que o Ollama agora suporta function calling! Isso significa que seus modelos podem utilizar ferramentas externas, como APIs, executar funções, navegar na web e muito mais! 🤯

Com o Ollama, você pode fornecer uma lista de ferramentas que o modelo pode usar através do campo "tools" na API Chat. O modelo então decide qual ferramenta usar e quando!

import ollama

response = ollama.chat(
    model='llama3.1',
    messages=[{'role': 'user', 'content': 
        'What is the weather in Toronto?'}],

		# provide a weather checking tool to the model
    tools=[{
      'type': 'function',
      'function': {
        'name': 'get_current_weather',
        'description': 'Get the current weather for a city',
        'parameters': {
          'type': 'object',
          'properties': {
            'city': {
              'type': 'string',
              'description': 'The name of the city',
            },
          },
          'required': ['city'],
        },
      },
    },
  ],
)

print(response['message']['tool_calls'])

Essa funcionalidade abre um novo leque de possibilidades para o desenvolvimento de aplicações de IA mais complexas e interativas utilizando o Ollama. Imagine um chatbot que pode acessar dados em tempo real ou realizar cálculos complexos!

O suporte a ferramentas já está disponível para modelos populares como Llama 3.1, Mistral e Firefunction v2. Experimente e veja o que você pode construir! 🚀

Carregando publicação patrocinada...
0
2

Opa, você pode rodar no Google Colab.

https://colab.research.google.com/

Apenas para contribuir com a informação para quem mais possa interessar: O Colab, ou "Colaboratory", permite escrever e executar Python no navegador e conta com o seguinte:

Nenhuma configuração necessária
Acesso a GPUs sem custo financeiro
Compartilhamento fácil
Você pode ser um estudante, um cientista de dados ou um pesquisador de IA, o Colab pode facilitar seu trabalho.

1

E aí, Brunão! No Ollama, existem modelos que são quantizados. A quantização envolve a conversão de pesos de modelos de alta precisão para formatos de menor precisão, como FP8, permitindo que eles funcionem sem a necessidade de GPUs potentes, utilizando apenas a CPU.

Apesar de não serem tão precisos, vale a pena fazer alguns testes caso você ainda não tenha feito.