当地时间7月23日，Meta发布了旗下最新开源模型Llama 3.1，包含8B、70B和405B这三个参数规模。Meta方面表示，迄今为止，Llama系列所有版本的总下载量已超过三亿次。Meta的CEO马克·扎克伯格称Llama 3.1的出现“将成为行业的一个转折点”，并发文详谈了公司的开源AI策略。

　　今年4月，Meta刚刚发布Llama 3。Llama 3.1在Llama 3的基础上进行了重大更新，可以进行八种语言的对话、编写更高质量的计算机代码，并解决更复杂的数学问题。Llama 3.1模型已被用于驱动聊天机器人Meta AI，该产品已加入Instagram和WhatsApp等应用程序，同时有独立网站。

　　据介绍，在150多个基准测试集中，Llama 3.1 405B版本的表现基本追平甚至超越了此前最强闭源模型GPT-4o和Claude 3.5 Sonnet，而参数较小的8B和70B模型也能够与谷歌、Mistral AI以及OpenAI旗下参数相似的各大模型相媲美。

　　而Llama 3.1模型背后，其训练数据的规模也相当惊人。为了在超过15万亿个token上训练Llama 3.1 405B模型，Meta团队大幅优化了整个训练栈，并把模型算力规模首次扩展到了超过16000个英伟达H100 GPU。

　　具体来看，团队依然采用了标准的仅解码器的Transformer架构，并采用迭代的post-training流程，每轮都进行SFT（监督微调）和DPO（直接偏好优化），以提高能力性能。与Llama的以往版本相比，团队还提高了用于预训练和post-training的数据的数量和质量。

　　同时，Meta的开源生态进一步扩张，Llama 3.1已经在超过25个企业的平台上推出，包括亚马逊云科技、微软云Azure、谷歌云、Oracle等主要云平台。其中，亚马逊云科技、Databricks和英伟达正在推出全套服务，以支持开发人员微调和训练自己的模型。

　　借这次机会，Meta还更新了开源许可，首次允许开发者使用Llama模型的输出来改进其他模型。Meta表示，团队也会将图像、视频和语音功能整合到 Llama 3 中，使模型能够识别图像和视频，并通过语音支持交互，但该功能仍在开发中。

　　23日当天，扎克伯格也为Llama 3.1发布了一篇长文，标题为《开源AI是前进之路》，将Llama 3.1称为“行业的一个转折点”。

　　在文中，扎克伯格将开源模型和开源的Linux操作系统进行了比较，称Linux因其可定制性、成本效益和安全性而受到欢迎，并最终成为云计算和移动设备操作系统的行业标准，“相信AI也会以类似的方式发展。”

　　扎克伯格认为，尽管一些AI公司正在开发领先的闭源模型，开源AI正在迅速缩小差距，并且开源的模式有利于公司发展：“我们必须确保始终能够用到最佳技术，同时不能陷入竞争对手的封闭生态系统，因为竞争对手会限制我们的构建。”扎克伯格还在此处特别点名了苹果的“苹果税”，称其为影响Meta的一次经历。

　　扎克伯格强调，开源能够促进完整的生态系统发展，并让行业中的各类模型都保持竞争力、高效和开放。而从更长远的角度来看，开源会让AI变得更安全，让这项技术更均匀、更安全地在整个社会部署，并让系统更加透明，可以受到广泛的审查。

　　另外，在接受外媒采访时香港金融whatsapp群组，扎克伯格透露，Meta已经在开发Llama 4，Meta的聊天机器人已经拥有“数亿名”用户，他预计Meta之外的其他公司也将使用Llama来训练自己的AI模型。扎克伯格还指出，认为“美国在AI发展方面能够永远领先中国5-10年”的观点是不现实的，在AI竞赛中对中国封锁是大错特错，“美国保持6-8个月的领先是合理的（目标）。”