uma pergunta leiga: esses LLM "open source" são realmente open source? não chegu · ethi

uma pergunta leiga: esses LLM "open source" são realmente open source?

não cheguei a buscar a fundo como realmente funciona um modelo de IA (só raspei a superfície de entender o básico de como eles funcionam e pouquíssimo sobre a ideia por trás do treinamento)

nisso me surgiu a dúvida da pergunta inicial do meu comentário.

tem como conseguir todos os dados usados pra "construir" esse modelo e vc mesmo fazer ele?
(claro que isso seria tecnicamente impossível num setup doméstico, mas da pra entender a premissa da questão)

porque no pouco que pesquisei sobre, essas LLM's são um "objeto pronto" que vc só baixa e usa, mas não consegue modificar oq tem ali dentro e inserir novos dados (me corrija se eu estiver errado quanto a isso)

lendo seu post vi que vc tem um conhecido mais vasto que o meu nesse assunto, então queria entender essa questão inicial que eu fiz.

Excelente pergunta! O LLama, em linhas gerais, não é totalmente open source. Na verdade ele se encaixaria mais em algo chamado de "Open Weights". Dizer que algo é Open Weights significa dizer que o conhecimento aprendido por aquele modelo de rede neural está disponível para uso e modificação.No entanto, o código de treinamento, o conjunto de dados original, os detalhes da arquitetura do modelo e a metodologia de treinamento não são fornecidos. Ainda assim, tem uma discussão sobre ele se encaixar ou não nessa categoria devido a algumas regras que foram colocadas na utilização desses pesos.

Além disso, eles acabaram por não divulgar todos os requisitos necessários para poder fazer o modelo funcionar localmente como você se referiu e, mesmo que, eles divulgassem os requisitos necessários para rodar levaria cerca de 130 anos para treinar em desktop na melhor das condições.

Existe um modelo interessante que pode ser classificado como Open Source chamado Olmo vale a pena conferir

Acredito que o termo "open source" para esses modelos criados por grandes empresas é mais uma simplificação para o público geral No fim das contas , devido aos altos requisitos para poder personalizar e modificar o LLama3 é algo que apenas a academia tem certo interesse se a coisa toda é "open source" ou não