Apesar do sucesso do modelo Llama na comunidade open source, muitos cientistas e engenheiros estão deixando a empresa devido à limitação de recursos computacionais e competição entre times e seus modelos de IA.
Curiosamente, hoje havia me deparado com uma publicação no Reddit que trata sobre o mesmo artigo, cuja fonte oficial é no The Information (contém paywall).
O ponto que me chamou mais atenção é que parece que o Llama só é um LLM que usa menos recursos porque a Meta tinha menos recursos disponíveis, diferentemente do que aconteceu com o desenvolvimento do GPT. A citação abaixo é da publicação do Reddit:
Meta AI has struggled with providing computing resources to its two major LLM development teams, OPT and Llama. The Llama team, based in Paris, believed smaller models would be more efficient and felt their work was overlooked compared to the North American OPT team that received more resources. This caused low morale and tensions.
Acho ótimo criarem LLMs que precisem de menos recursos. Vejo o uso de LLMs locais se tornando mais desejável/factível, e essa outra publicação do Reddit discute sobre isso: I'm convinced now that “personal LLMs” are going to be a huge thing.