北京时间4月19日，Meta发布Llama 3，本次开源参数量为8B和70B的两个版本，未来数个月内还会推出其他版本，升级点包括多模态、多语言能力、更长的上下文窗口和更强的整体功能。Llama 3性能大幅超越前代Llama 2，在同等级模型中效果最优。Meta目前正在训练超过400B的版本，性能比肩GPT-4，但尚未决定是否开源。海外头部厂商中，OpenAI和谷歌闭源模型领先，Meta凭借开源模型独树一帜的竞争格局继续维持。对于国内大模型，我们认为后续需要关注：1）Llama 3中文化促进国内AI垂类模型、大模型应用的性能提升；2）Llama 3中文化与国内闭源模型的竞争。

　　Llama 3分为大中小三个版本，相比其他模型：小规模的8B模型效果比同类大小的模型Mistral 7B、Gemma 7B略好或基本持平；中等规模的70B模型效果比Gemini Pro 1.5、Claude 3 Sonnet略好或相当，并超过GPT-3.5；最大的400B模型仍在训练过程中，设计目标是多模态、多语言，根据Meta公布的目前训练数据，其性能与GPT-4相当。相比前代Llama 2：对比指令精调模型，Llama 3 8B在多项基准测试中超过Llama 2 70B。在未来几个月中，Meta将发布多个具有新功能的模型，包括多模态、多语言能力、更长的上下文窗口和更强的整体功能，并将发布研究论文。

　　Llama 3的模型结构相比Llama 2变化不大，都采用decoder-only架构，技术亮点主要在于预训练数据量、上下文长度、分组查询注意力机制：1）训练数据量极大扩充whatsapp ios和安卓。Llama 3 经过超 15T token 的预训练，训练数据集比Llama 2使用的数据集大七倍，其中代码数据扩充了4倍，使得Llama 3的代码能力和逻辑推理能力大幅度提升。2）上下文长度扩充。Llama3支持8k上下文长度，是Llama 2的2倍，同时大大降低了错误拒绝率，改善了一致性，但相比其他主流模型仍有差距（GPT-4 turbo 128k，Claude 3 100k，GPT-4 32k）；3）采用分组查询注意力（GQA）以加速推理。

　　Llama 3的推出为开源模型注入了新的活力，未来还将新增多模态能力，我们看好Llama 3促进AI应用繁荣。海外头部厂商中，OpenAI和谷歌闭源模型领先，Meta凭借开源模型独树一帜的竞争格局继续维持。对于国内大模型，我们认为后续需要关注：1）Llama 3中文化促进国内AI垂类模型、大模型应用的性能提升；2）Llama 3中文化与国内闭源模型的竞争。

　　风险提示：AI 及技术落地不及预期；本研报中涉及到未上市公司或未覆盖个股内容，均系对其客观公开信息的整理，并不代表本研究团队对该公司、该股票的推荐或覆盖。