Executando verificação de segurança...
5

Excelente tutorial para quem deseja estudar RAG

Estou há algum tempo tentando aprender RAG (um importante tópico na área de inteligência artificial) e um dos problemas com os quais eu me deparava era o de não conseguir rodar o código. Isto porque (entre outras coisas) ou eu precisava de um token específico, ou utilizar um modelo de linguagem proprietário ou ainda, um modelo que precisaria de muito recurso pra rodar. A grande questão era conseguir um exemplo útil e que fosse de fácil implementação.
Descobri, então, um tutorial no Hugging Face intitulado por "Simple RAG for GitHub issues using Hugging Face Zephyr and LangChain". Você pode rodar ele no Google Colab sem grandes problemas.
Bastando, para isso, criar um token no github seguindo o link disponível no tutorial. Copie este token e cole ele no próprio notebook. Em momento oportuno, aparecerá o input para você inserir este token.
Além disso, troque, na primeira linha de código, bem no finalzinho, o "gpu" por "cpu". Isto porque a versão do python no notebook (que não pode ser alterada) vai gerar erro. Isto vai atrasar um pouco a execução, mas nada significativo para o propósito de aprendizado.
Em linhas gerais, o tutorial busca "issues" de um repositório github específico, aplica um processo de embedding e armazena estes dados em um banco de dados vetorial.
Depois, ele faz um retriever nesse banco de dados de acordo com a pergunta que está sendo feita. É apresentada a resposta com e sem contexto. O resultado com o contexto (muito melhor) mostra a necessidade do RAG para o problema proposto no tutorial.
Dois pontos adicionais neste tutorial é que ele faz o processo de chunk nos documentos antes do embedding e, além disso, faz também o processo de quantização, para economia de recursos.
O tutorial é muito completo, aborda várias questões importantes relacionadas ao RAG e é de fácil implementação e compreensão. Recomendo fortemente este tutorial para quem está começando a estudar o assunto.

Carregando publicação patrocinada...
2
2

Poxa, sensacional. Recentemente fiz um projeto em RAG pra uso pessoal, recomendo usar o banco de vetores que o pessoal do MongoDB desenvolveu, o Milvus. É muito, muito bom e boa parte da indústria faz o uso dele pelo fato de ele ter um painel de controle próprio, nodes pra escalonamento e etc.

Pra quem tiver interesse: https://milvus.io/