本周四，AI 领域迎来重大消息，Meta 正式发布了人们等待已久的开源大模型 Llama 3。

　　与此同时，扎克伯格宣布：基于最新的 Llama 3 模型，Meta 的 AI 助手现在已经覆盖 Instagram、WhatsApp、Facebook 等全系应用，并单独开启了网站。另外还有一个图像生成器，可根据自然语言提示词生成图片。

　　Meta 表示，Llama 3 在多个关键的基准测试中性能优于业界先进同类模型，其在代码生成等任务上实现了全面领先，能够进行复杂的推理，可以更遵循指令，能够可视化想法并解决很多微妙的问题。

　　刚刚发布的 8B 和 70B 版本 Llama 3 模型已用于 Meta AI 助手，同时也面向开发者进行了开源，包括预训练和微调版本：

　　体量更大的多模态版本将在未来几个月内推出。Meta 称，目前正在开发的最大模型是 400B+ 参数。

　　Meta 研究科学家 Aston Zhang 在大模型发布后表示，在 Llama 3 的研发过程中，研究团队一起应对了预训练和人类数据、预训练扩展、长上下文、后训练和评估方面的诸多挑战。这是一段艰难而又激动人心的旅程。

　　更加激动人心的内容即将到来：Meta 的研究者现在准备推出系列视频，帮助人们深入了解 Llama 3 背后的技术。此外 Llama 3 的相关研究论文也将放出。

　　最新发布的 8B 和 70B 参数的 Llama 3 模型可以说是 Llama 2 的重大飞跃，由于预训练和后训练（Post-training）的改进，本次发布的预训练和指令微调模型是当今 8B 和 70B 参数规模中的最佳模型。与此同时，后训练过程的改进大大降低了模型出错率，进一步改善了一致性，并增加了模型响应的多样性。

　　此外，Meta 还开发了一套新的高质量人类评估数据集。该评估集包含 1800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色、开放式问答、推理、重写和总结。为了防止 Llama 3 在此评估集上出现过度拟合，Meta 表示他们自己的团队也无法访问该数据集。下图显示了针对 Claude Sonnet、Mistral Medium 和 GPT-3.5 对这些类别和提示进行人工评估的汇总结果。

　　为了开发出出色的语言模型，Meta 认为创新、扩展和优化是非常重要的。因而在 Llama 3 的研发中 Meta 采用了这一设计理念，重点关注四个关键要素：模型架构、预训练数据、扩展预训练和指令微调。

　　为了训练最好的语言模型，管理大型、高质量的训练数据集至关重要。Meta 在预训练数据上投入了大量成本。Llama 3 使用超过 15T 的 token 进行了预训练，这些 token 都是从公开来源收集的。总体上讲，Llama 3 的训练数据集是 Llama 2 使用的数据集的七倍多，并且包含四倍多的代码。为了为即将到来的多语言用例做好准备，超过 5% 的 Llama 3 预训练数据集由涵盖 30 多种语言的高质量非英语数据组成。但是，Llama 3 在这些语言上的性能水平预计不会与英语相同。

　　为了确保 Llama 3 接受最高质量数据的训练，研究团队开发了一系列数据过滤 pipeline，包括使用启发式过滤器（filter）、NSFW 过滤器、语义重复数据删除方法和文本分类器来预测数据质量。

　　研究团队发现前几代 Llama 非常擅长识别高质量数据，因此 Meta 使用 Llama 2 为给 Llama 3 提供支持的文本质量分类器生成训练数据。

　　研究团队还进行了广泛的实验，以评估出在最终预训练数据集中不同来源数据的最佳混合方式，最终确保 Llama 3 在各种用例（包括日常问题、STEM、编码、历史知识等）中表现良好。

　　具体来说，Meta 为下游基准评估制定了一系列详细的扩展法则。这些扩展法则使 Meta 能够选择最佳的数据组合，并就如何最好地使用训练计算做出明智的决策。

　　重要的是，扩展法则使 Meta 能够在实际训练模型之前预测最大模型在关键任务上的性能（例如，在 HumanEval 基准上评估的代码生成性能）。这有助于确保最终模型在各种用例和功能上都具有强大的性能。

　　在 Llama 3 的开发过程中，Meta 对扩展行为进行了一些新的观察。例如，虽然 8B 参数模型的 Chinchilla 最佳训练计算量对应约 200B token，但 Meta 发现即使在模型接受了两个数量级以上的数据训练之后，模型性能仍在继续提高。

　　在对多达 15T token 进行训练后，8B 和 70B 参数的模型都继续以对数线性的方式提升性能。较大的模型可以用较少的训练计算来匹配较小模型的性能，但较小的模型通常是首选，因为它们在推理过程中效率更高。

　　Meta 透露，它们使用自定义训练库、Meta 的超级集群和生产集群预训练 Llama3。微调、注释和评估在第三方云计算上进行。

　　为了训练最大的 Llama 3 模型，Meta 结合了三种类型的并行化：数据并行化、模型并行化和管道并行化。

　　当同时在 16K GPU 上进行训练时，Meta 最高可实现每个 GPU 超过 400 TFLOPS 的计算利用率。Llama3 是在两个定制的 24K GPU 集群上进行了训练。为了最大限度地延长 GPU 的正常运行时间，Meta 开发了一种先进的新训练堆栈，可以自动执行错误检测、处理和维护。Meta 还极大地改进了硬件可靠性和静默数据损坏检测机制，并且开发了新的可扩展存储系统，以减少检查点和回滚的开销。

　　为了充分释放预训练模型在聊天场景中的潜力，Meta 还对指令微调方法进行了创新。Llama 3 后训练方法用的是有监督微调（SFT）、拒绝采样、近端策略优化（PPO）和直接策略优化（DPO）的组合。SFT 中使用的 prompt 质量以及 PPO 和 DPO 中使用的偏好排序对模型对齐有着巨大的影响。

　　通过 PPO 和 DPO 从偏好排序中学习，也极大地提高了 Llama 3 在推理和编码任务上的性能。Meta 发现，如果你向模型提出一个它难以回答的推理问题，该模型有时会产生正确的推理轨迹：模型知道如何产生正确的答案，但不知道如何选择它。对偏好排序的训练使模型能够学习如何选择正确答案。

　　在此版本中，Meta 提供了新的信任与安全工具，包括 Llama Guard 2 和 Cybersec Eval 2 的更新组件，并引入了 Code Shield—— 一种过滤大模型生成的不安全代码的防护栏。

　　从快速工程到将 Llama 3 与 LangChain 结合使用，Meta 提供了全面的入门指南，指导开发者进行大规模部署。

　　Meta 采用了一种新的、系统级的方法来负责任地开发和部署 Llama，将 Llama 模型视为更广泛系统的一部分，让开发者掌握主导权。Llama 模型将作为系统的基础部分，由开发人员根据其独特的最终目标进行设计。

　　指令微调在确保模型安全性方面也发挥了重要作用。经过内部和外部的共同努力，Meta 对经过指令微调的模型进行了安全红队（测试）。

　　「红队」方法利用人类专家和自动化方法生成对抗性提示，试图诱发有问题的反应。例如，采用综合测试来评估与化学、生物、网络安全和其他风险领域有关的滥用风险。所有这些工作都是反复进行的，并用于对发布的模型进行安全微调。

　　Llama Guard 模型旨在为及时响应安全奠定基础，并可根据应用需求轻松微调以创建新的分类标准。作为起点，新版 Llama Guard 2 采用了最近公布的 MLCommons 分类标准。此外，CyberSecEval 2 在其前身的基础上进行了扩展，增加了对 LLM 允许滥用其代码解释器的倾向、攻击性网络安全能力以及对提示注入攻击的易感性的测量。最后，Meta 将推出代码盾（Code Shield）whatsapp2017 版本下载，它增加了对 LLM 生成的不安全代码进行推理时过滤的支持。这可以降低不安全代码建议、代码解释器滥用预防和安全命令执行方面的风险。

　　随着生成式人工智能领域的快速发展，开源将是将生态系统整合在一起并减少这些潜在危害的重要途径。

　　为此，Meta 持续更新《负责任使用指南》（RUG），该指南为负责任地使用 LLM 进行开发提供了全面指导。比如像指南中所概述的那样，所有输入和输出都应根据适合应用的内容指南进行检查和过滤。此外，许多云服务提供商都提供了用于负责任部署的内容审核 API 和其他工具，开发人员也被建议考虑使用这些选项。

　　在 Llama Recipes（）中，介绍了有关如何利用所有这些功能的示例，其中包含所有的开放源代码，可用于从微调、部署到模型评估的所有工作。

　　Meta 表示， 「最大的 Llama 3」参数超过 400B，虽然这些机型仍在训练中，但在接下来的几个月中也将陆续发布，新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。

　　Llama 3 还未到来的 400B+ 版本会有多强？它一旦发布是不是意味着开源社区就将迎来 GPT-4 级大模型？