Excelente pergunta! O LLama, em linhas gerais, não é totalmente open source. Na verdade ele se encaixaria mais em algo chamado de "Open Weights". Dizer que algo é Open Weights significa dizer que o conhecimento aprendido por aquele modelo de rede neural está disponível para uso e modificação.No entanto, o código de treinamento, o conjunto de dados original, os detalhes da arquitetura do modelo e a metodologia de treinamento não são fornecidos. Ainda assim, tem uma discussão sobre ele se encaixar ou não nessa categoria devido a algumas regras que foram colocadas na utilização desses pesos.

Além disso, eles acabaram por não divulgar todos os requisitos necessários para poder fazer o modelo funcionar localmente como você se referiu e, mesmo que, eles divulgassem os requisitos necessários para rodar levaria cerca de 130 anos para treinar em desktop na melhor das condições.

Existe um modelo interessante que pode ser classificado como Open Source chamado Olmo vale a pena conferir

Acredito que o termo "open source" para esses modelos criados por grandes empresas é mais uma simplificação para o público geral No fim das contas , devido aos altos requisitos para poder personalizar e modificar o LLama3 é algo que apenas a academia tem certo interesse se a coisa toda é "open source" ou não