官宣！Meta正在训练Llama 3，将继续开源

1月19日，全球社交、科技巨头Meta的联合创始人兼首席执行官-Zuck（扎克伯格）在is宣布，正在训练Llama 3并且以负责任地方式继续开源。

Zuck表示，预计到2024年底，Meta将拥有350,000块H100，如果算上其他算力资源将达到近600,000块H100。

所以，Meta有足够的AI算力资源来支持其生成式AI和FAIR（旗下AI部门）的技术研究。未来，会公布更多的产品消息。

去年8月，就有过传言Meta正在训练Llama 3。现在，官方正式确认，这对于企业、个人开发者来说都是一个好消息，可以继续以开源的方式使用与GPT-4、Gemini Ultra相媲美的大模型。

类ChatGPT开源模型鼻祖——Llama

早在去年2月，ChatGPT火爆出圈时，全球多个国家、地区皆在尝试开发类似的产品。虽然已经有一些开源产品，但在功能、能耗等方面与其相差甚远。

同月，Meta重磅开源了类ChatGPT开源模型LLaMA。随后，国内外不少科研机构、个人开发者在LLaMA基础之上，开发了众多知名开源项目。但LLaMA有一个致命缺点，无法商业化只能用于研究。

LLaMA与ChatGPT同样是基于Transformers架构演变而来，共有70亿、130亿、330亿和650亿参数四种类型，接受了20种不同语言文本的训练。

数据训练方面，LLaMA使用公开可用的数据集进行训练，其中包括开放数据平台Common Crawl、英文文档数据集C4、代码平台GitHub、维基百科、论文平台ArXiv等，总体标记数据总量大约在1.4万亿个Tokens左右。

Meta认为，在更多标记（单词）上训练的较小模型，更容易针对特定的潜在产品用例进行再训练和微调，同时性能也更加聚焦。

2023年7月，Meta在LLaMA基础之上训练、开源了LLaMA 2，拥有70亿、130亿、340亿和700亿四种参数，并且这一代终于允许商业化。

Llama 2 预训练模型接受了2万亿个标记的训练，上下文长度是Llama 1的两倍。其微调模型已经接受了超过100 万个人类注释的训练，整体性能非常强悍。

目前，Llama 2也是整个生成式AI开源界应用最多的大模型之一。

开源生成式AI联盟主力军——Meta

看到生成式AI的庞大场景化落地，Meta已经将其列为重要发展赛道。

为了对抗OpenAI、谷歌为代表的闭源阵营，去年12月，Meta联合甲骨文、英特尔、AMD、IBM、索尼、戴尔等57家科技、学术研究等知名机构组成了“AI联盟”。

这个联盟有6大目标，其中重要一项便是要搭建开源大模型生态，包括从研究、评估、硬件、安全、公众参与等一整套流程。

事实上，Meta作为这个联盟的主要发起者和“盟主”，在2023年，除了LLaMA，还开源了一系列重要模型。

开源文本生成音乐模型Audiocraft：这是一个混合模型，由MusicGen、AudioGen和EnCodec组合而成。用户仅用文本就能生成鸟叫、汽车喇叭声、脚步等背景音频，或更复杂的音乐，适用于游戏开发、社交、视频配音等业务场景。

最大公开多模态视频数据集—Ego-Exo4D：该数据集收集了来自13个城市839名参与者的视频,总时长超过1400小时,包含舞蹈、足球、篮球、攀岩、音乐、烹饪、自行车维修等8大类，131个复杂场景动作。这使得AI模型更好地理解人类的行为，有助于开发出更强大的多模态大模型。

开源视觉模型DINOv2：采用了一种新的高性能计算机视觉模型的方法，无需微调具备自我监督学习(SSL)，可以从任何图像集合中学习。还可以学习当前标准方法无法学习的特征，例如，深度估计。

可以预见，2024年，Meta将继续扬帆起航，开源更多的重磅产品造福全球开发者和企业。