当地时间4月18日，Meta 发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。Llama 3的这两个版本，也将很快登陆主要的云供应商。

　　而且在未来几个月内，Meta还会推出更多的版本。英伟达高级科学家Jim Fan认为，之后可能会发布的Llama 3-400B以上的版本，将成为某种“分水岭”，开源社区或将能用上GPT-4级别的模型。

　　传奇研究员，AI开源倡导者吴恩达表示：Llama 3的发布是自己这辈子收到过的最好的礼物，谢谢你Meta！

　　在Llama 3发布后，小扎向外媒表示，“我们的目标不是与开源模型竞争，而是要超过所有人，打造最领先的人工智能。”

　　支持8K长文本，改进的tokenizer具有128K token的词汇量，可实现更好的性能；

　　根据Meta AI的工程师Aston Zhang透露，Llama 3的诞生始于去年夏天，团队攻克了数据集，预训练等方面的一系列难题。

　　他还进一步透露，Llama 3之后还会解锁新的能力——更长的上下文，支持多模态，性能更强的400B版本。

　　Meta展示的基准测试结果包括MMLU、ARC、DROP、GPQA（生物、物理、化学相关的问题集）、HumanEval（代码生成测试）、GSM-8K（数学应用测试）、MATH（同为数学相关基准测试）、AGIEval（问题解决的测试集）以及BIG-Bench Hard（常识推理测试）。

　　在下图可看到，Llama 3 8B的成绩在九项测试中领先同行。但Mistral 7B（2023年9月发布）和Gemma 7B已经不算最前沿的开源模型。并且在引用的一些基准测试里，Llama 3 8B的得分，还只比这两位高一点点。

　　这个人类反馈测试更贴近用户实际的使用体验，包括了最常见的大模型使用场景：头脑风暴、创意写作、角色扮演、复述、推理、总结等。

　　Meta不忘卖个关子，说自己目前最大的模型参数，已经超过4000亿（400B），但还在训练。不过据The Verge，Meta 尚未最终决定是否开源400B的版本。

　　在Llama 2发布后的几个月内，开源社区雨后春笋般地，冒出了很多性能非常强大的开源模型。开源社区的竞争格局，已经有了非常大的变化。

　　当有人怀疑，Meta还能否继续在激烈地竞争中保持领先时，Meta用Llama 3的发布，让自己重新坐回了开源社区的铁王座之上。

　　Llama 3优越的性能，离不开庞大数据集的训练——15 万亿token，几乎是Llama 2的七倍。

　　堆量只是第一步，Meta在训练时也十分重视数据质量，用上了许多过滤手段。使用合成数据（AI生成的数据）就是一个例子。官网介绍：

　　我们发现前几代 Llama 非常擅长识别高质量数据，因此我们使用 Llama 2生成训练数据，提供给Llama 3的文本质量分类器，为 Llama 3 提供支持。

　　在接受“海量投喂”后，新版Llama在回答琐碎问题时应该能更准，在历史、STEM、工科及编程类问题时，也将显得游刃有余。

　　Meta还提到，Llama 3预训练数据集有超过5%的部分，来自高质量的非英语数据。加入这部分的目的在于，能更好满足各国用户、不同语言背景的使用需求。

　　不过，针对所用训练数据的来源，Meta依然选择打马虎眼：“收集于公开来源（publicly available sources）”。

　　而且两个版本的数据截止日期还略微有点不同，8B版本截止日期为2023年3月，70B版本为2023年12月。

　　据纽约时报报道，2023年3月到4月期间，Meta高层天天开会，讨论如何把有版权的内容喂给模型训练——有的法子能说，比如收购Simon & Schuster出版社；有的不方便说，比如冒着吃官司的风险，在网上收集有版权的文本。

　　而且值得注意的是，根据外媒的说法，Llama 3使用的训练数据，有很大一部分是AI合成的数据。

　　Meta还分享了在训练模型的过程中，相比自己前2代模型，做出了很多流程上的优化：数据并行化、模型并行化和管道并行化。

　　为了最大限度地延长GPU的正常运行时间，Meta开发了一种先进的训练堆栈，可以自动执行错误检测、处理和维护。

　　Meta还极大地改进了硬件可靠性和静默数据损坏检测机制，并且开发了新的可扩展存储系统，以减少检查点和回滚的开销。这些改进，使总体有效培训时间超过 95%华为手机能下载WhatsApp吗。

　　手机的聊天窗口中，输入问题+@Meta AI，就能得到想要的答案。“私聊”Meta AI对话也是可以的。

　　Meta当然没忘记PC端。登入meta.ai，无需注册登录，即可像GPT一样开启对话。当然，登录后可保存对话记录，便于未来参考。

　　文生图功能酷炫至极。由于图像生成速度大大加快，每输入几个字母，图像就会发生变化——所输即所得！

　　据The Verge, Meta AI 助手的唯一一个集成了 Bing 和 Google 实时搜索结果的聊天机器人——Meta可决定使用哪种搜索引擎来回答prompt提示词。

　　据介绍，Meta正向美国以外的十几个国家，推出英语版 Meta AI。澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦将可以使用 Meta AI。

　　Meta采用了一种新的系统级方法来负责任地开发和部署Llama 3。他们将Llama 3视为更广泛系统的一部分，让开发人员能够完全掌握模型的主导权。

　　Meta的指令微调模型，已经通过内部和外部进行了红队测试。Meta的红队利用人类专家和自动化方法来生成对抗性提示，试图引发有问题的响应。

　　除此之外，Meta还采用了业内最为先进的大模型安全技术，出生自带Llama Guard 2、Code Shield 和 CyberSec Eval 2的新版信任和安全工具，确保模型不会被轻易越狱，输出有害内容。

　　看来Meta已经充分吸取了Llama去年意外泄漏的教训，在模型的安全性上下的功夫不亚于对性能的追求。