Fala pessoal, frequentemente estou precisando responder muitas questões que estão em PDF's e txt's.
Vocês acham que é válido baixar um Ollama da vida e deixar rodando no PC quando precisar desse tipo de coisa? Configurando certinho o perfil e tudo mais, tem potencial para responder pelo menos parecido com o GPT?
google notebook llm da uma olhada, acho que vc quer algo assim.
bem massa mano, era isso que eu procurava, agora é ver quanto tempo dura sem a google cobrar KKKKK
Cara esse serviço é muito massa, ontem adicionaram suporte a videos do yt, só colar o link, ele "vê" todo o video e pode te dizer algo sobre ele. A diferença dele pro ChatGPT por exemplo, é que ele depende dos recursos que tu bota, ai ele só le aquilo ali que tu colocou, texto, pdf, video, audio. Se tu for fazer um artigo sobre X assunto, tu pode colocar até 50 textos de referência, e ele vai ler tudo e tu pode fazer perguntas e ele até sugere algumas.
Eu tb ja uso e a experiência é sensacional. Ele transforma seus arquivos em um especialista no assunto contido nos arquivos. Se vc tem um sistema com manuais, joga os manuais lá e via API disponibiliza aos usuarios perguntas no help do seu sistema!
Atualmente eu uso o LM Studio com LLama 3 em conjunto com o AnythingLLM para fazer isso que você disse e funciona mais o menos bem... Pelo menos o modelo de 7B do Llama parece ter algumas limitações bem fortes, frequentemente eu pergunto sobre algo que está na documentação que passei e ele não me responde de forma adequada, na verdade eu diria que boa parte das vezes a resposta não é a que eu gostaria, estou estudando para simplificar o trabalho da minha equipe com relação a documentação e etc... Mas até o momento estou falhando miseravelmente em conseguir fazer as coisas funcionarem como eu gostaria, então assim dá para fazer, mas exige tempo e hardware adequado, infelizmente para minha RTX 3060 não rola modelos muito maiores.
Se sua máquina tem Placa com GPU, sim. Caso contrário, é bom pensar em comprar 1 GPU e incrementar também memoria, pois rodar local consome muitos dos recursos da tua estação.
Para testes sim, mas responder acho que não. O desempenho não é bom nessa tarefas nem em modelos grandes.
Normalmente um modelo é treinado com respostas pré prontas. Como nos arquivos pode não ter respostas ele terá um desempenho ruim.
Alguns documentos bem estruturados porém pode responder até bem, por isso sempre vale um bom teste.
O GPT tem uma grande base de treinamento, dependendo do modelo que você vai conseguir rodar localmente as respostas podem se aproximar ou serem muito ruins. Vale tentar!