1 min de leitura ·

[IA] [DÚVIDA] Como fazer finetune de algum modelo online de IA, e quais os custos envolvidos no processo?

Sou entusiasta da área, curto muito modelos treinados e "finetuned" de IA.

Alguém que tenha experiência na área saberia me dar um caminho que valha a pena no custo x benefício para alguém que não manja muito de programação?

Prezo por uma interface minimamente usável - o problema não é usar o terminal, é o custo de oportunidade que isso me daria para aprender algo do zero no meu momento hoje.

Não me importo de ser ferramenta online, em outro tópico chegamos à conclusão que meu hardware não é nem próximo do mínimo necessário para rodar um modelo assim hahaha

A ideia é treinar um modelo com tudo o que uso na minha prática clínica para fazer o meu "Robin", a maioria em txt ou PDF para, pouco a pouco, propiciar melhores atendimentos e condutas a meus pacientes.

Muito obrigado!!

heigler

4 dias atrás

Boa tarde eidoc, tudo bem?

O fine tuning não é recomendado para o seu caso de uso, o primeiro motivo é o custo elevado para treinar o modelo (seja ele qual for) com os dados da sua clínica. A segunda grande desvantagem, é que esse treinamento é rígido, ou seja, toda vez que entrarem novas informações você terá que treiná-lo novamente (caro e demorado).

Para seu caso de uso a melhor estratégia é o RAG, onde você vai indexar as informações da sua clínica antes de interagir com o modelo. É mais barato, e sempre que houver mudanças na sua estrutura (preços, horários, prontuários, etc), o modelo já vai “entender” e levar em consideração no contexto.

Fine tuning se aplica em poucos casos, e normalmente quando a atividade final é tecnologia.

igorbenav

1 dia atrás

Ótima resposta. Vale explorar uma abordagem "agentic" pro seu caso de uso. Essencialmente você dá acesso a um contexto e a ferramentas pra sua llm se comportar melhor da forma que você precisa.

Uma plataforma boa pra começar a experimentar com isso é o langflow, você pode criar agentes com rag e começar a prototipar super rapidamente.