whatsapp频道号拉群软件
4月19日凌晨,Meta重磅发布了全球最大开源大模型Llama 3,一夜间重新坐稳王者之位。
Meta 官方博客写道:“得益于预训练和后训练的改进,我们的预训练和指令微调模型是目前 8B 和 70B 参数尺度下最好的模型。”测试结果显示,Llama 3 8B在某些测试集上性能比 Llama 2 70B 还要强。
在Llama 3发布后,小扎向外媒表示,“我们的目标不是与开源模型竞争,而是要超过所有人,打造最领先的人工智能。”
Llama 3的发布,开启了一波梦幻联动。传奇研究员、AI开源倡导者吴恩达发帖表示,Meta在自己生日当天发布了Llama 3,这是最棒的生日礼物!谢谢Meta!
Meta生成式AI团队主管、苹果前高管艾哈迈德·阿尔·达勒(Ahmad Al-Dahle)发帖介绍:
此外,此前凭借1000行C语言代码、一台Mac就训练出GPT-2的AI大牛Karpathy也发帖祝贺:
支持8K长文本,改进的tokenizer具有128K token的词汇量,可实现更好的性能;
根据Meta AI的工程师Aston Zhang透露,Llama 3的诞生始于去年夏天,团队攻克了数据集,预训练等方面的一系列难题。他还进一步透露,Llama 3之后还会解锁新的能力——更长的上下文,支持多模态,性能更强的400B版本。
Meta展示的基准测试结果包括MMLU、ARC、DROP、GPQA(生物、物理、化学相关的问题集)、HumanEval(代码生成测试)、GSM-8K(数学应用测试)、MATH(同为数学相关基准测试)、AGIEval(问题解决的测试集)以及BIG-Bench Hard(常识推理测试)。
如下图所示,Llama 3 8B的成绩在九项测试中领先同行whatsapp频道号拉群软件。但Mistral 7B(2023年9月发布)和Gemma 7B已经不算最前沿的开源模型。并且在引用的一些基准测试里,Llama 3 8B的得分最高。
Meta 还测试了 Llama 3 在真实世界场景中的性能,专门开发了一个新的高质量人类评估集,该评估集包含 1800 个提示,涵盖 12 种关键用例(征求建议、头脑风暴、分类、封闭式问题解答、编码、创意写作、提取、角色/人物角色、开放式问题解答、推理、改写和总结)。
我们的目标是打造世界领先的人工智能。我们正在用最先进的新 Llama 3 Al 模型升级 Meta Al,该模型已开源。凭借这个新模型,我们相信 Meta Al 现在是最智能的人工智能助手。你可以自由使用。
我们还构建了一些独特的创作功能,例如将照片制作成动画的功能。现在AI生成高质量图像的速度非常快,可以根据你的需要实时创建和更新它们,它还将生成你的创作过程的回放视频。
Meta 官方表示,Llama 3 8B 和 70B 模型只是 Llama 3 系列模型的一部分,他们后续还将推出更多版本,包括模型参数超过 400B 的 Llama 3 版本(目前仍在训练中)。
英伟达高级科学家Jim Fan发帖表示:之后可能会发布的Llama 3-400B以上的版本其将成为某种“分水岭”,开源社区将能用上GPT-4级别的模型。
Meta 官方表示,在接下来的几个月中,他们预计将推出新功能(如多模态)、更长的上下文窗口、更多不同大小版本的模型和更强的性能,以及 Llama 3 研究论文。
Meta今天发表一篇论文《Imagine Flash:利用逆向蒸馏加速Emu扩散模型》。Imagine Flash 是一个创新的加速扩散模型框架,通过 Imagine Flash 技术可以将50步的生成步骤精简至仅1至3步,达到了实时生图的效果,同时还能提升图像的质量和保真度。该技术已经应用到了Meta AI聊天机器人当中。
Meta 表示,“得益于我们在 Llama 3 上取得的最新进展,Meta AI 比以往任何时候都更智能、更快速、更有趣。”
Llama 2 发布后,仅在几个月内就带动了开源社区冒出了众多性能强大的开源模型。开源社区的竞争格局,发生巨变。当有人怀疑,Meta还能否继续在激烈地竞争中保持领先时,Meta 用 Llama 3,让自己重回开源社区的王座。
4 月 25 ~ 26 日,由 CSDN 和高端 IT 咨询和教育平台 Boolan 联合主办的「全球机器学习技术大会」将在上海环球港凯悦酒店举行,特邀近 50 位技术领袖和行业应用专家,与 1000+ 来自电商、金融、汽车、智能制造、通信、工业互联网、医疗、教育等众多行业的精英参会听众,共同探讨人工智能领域的前沿发展和行业最佳实践。欢迎所有开发者朋友访问官网 、点击「阅读原文」或扫码进一步了解详情。