互联网技术 / 互联网资讯 · 2024年9月28日

通义千问推出开源Qwen2.5大模型,性能超越Llama

9月19日消息,2024云栖大会上,阿里云CTO周靖人发布通义千问新一代开源模型Qwen2.5,旗舰模型Qwen2.5-72B性能超越LlaMa 405B,再登全球开源大模型王座。

Qwen2.5全系列涵盖多个尺寸的大语言模型、多模态模型、数学模型和代码模型,每个尺寸都有基础版本、指令跟随版本、量化版本,总计上架100多个模型,刷新业界纪录。

通义千问开源Qwen2.5大模型,性能超越Llama

据介绍,Qwen2.5全系列模型都在18T Tokens数据上进行预训练,相比Qwen2,整体性能提升18%以上,拥有更多的知识、更强的编程和数学能力。Qwen2.5-72B模型在MMLU-Rudex基准、MBPP基准和MATH基准的得分高达86.8、88.2、83.1。

Qwen2.5支持高达128K的上下文长度,可生成最多8K内容。模型拥有强大的多语言能力,支持29种以上语言。模型能够响应多样化的系统提示,实现角色扮演和聊天机器人等任务。在指令跟随、理解结构化数据(如表格)、生成结构化输出(尤其是JSON)等方面Qwen2.5都有明显进步。

语言模型方面,Qwen2.5开源了7个尺寸,0.5B、1.5B、3B、7B、14B、32B、72B,它们在同等参数赛道都创造了业界最佳成绩,型号设定充分考虑下游场景的不同需求,3B是适配手机等端侧设备的黄金尺寸;32B是最受开发者期待的“性价比之王”,可在性能和功耗之间获得最佳平衡,Qwen2.5-32B的整体表现超越了Qwen2-72B。

通义千问开源Qwen2.5大模型,性能超越Llama

在MMLU-Redux等十多个基准测评中,Qwen2.5-72B表现超越LlaMa3.1-405B

72B是Qwen2.5系列的旗舰模型,其指令跟随版本Qwen2.5-72B-InstRUCt在多个权威测评中表现出色,以不到1/5的参数超越了拥有4050亿巨量参数的LlaMa3.1-405B,继续稳居“全球最强开源大模型”的位置。

专项模型方面,用于编程的 Qwen2.5-codeR 和用于数学的 Qwen2.5-Math均有实质性进步。Qwen2.5-codeR 在多达5.5T Tokens 的编程相关数据上作了训练,当天开源1.5B和7B版本,未来还将开源32B版本;Qwen2.5-Math支持使用思维链和工具集成推理解决中英双语的数学题,是最先进的开源数学模型系列,本次开源了1.5B、7B、72B三个尺寸和一款数学奖励模型Qwen2.5-Math-RM。

多模态模型方面,视觉语言模型Qwen2-VL-72B正式开源,Qwen2-VL能识别不同分辨率和长宽比的图片,理解20分钟以上长视频,具备自主操作手机和机器人的视觉智能体能力。日前权威测评发布最新一期的视觉模型性能测评结果,Qwen2-VL-72B成为全球得分最高的开源模型。

通义千问开源Qwen2.5大模型,性能超越Llama
Qwen2-VL-72B在权威测评成为全球得分最高的开源视觉理解模型

自从2023年8月开源以来,通义在全球开源大模型领域后来居上,成为开发者的首选模型。性能上,通义大模型逐步赶超美国最强开源模型LlaMa,多次登顶全球大模型榜单;生态上,通义从零起步,与海内外的开源社区、生态伙伴、开发者共建生态网络,截至2024年9月中旬,通义千问开源模型下载量突破4000万,Qwen系列衍生模型总数超过5万个,成为仅次于LlaMa的世界级模型群。

通义千问开源Qwen2.5大模型,性能超越Llama
数据显示,截至9月中旬Qwen系列原生模型和衍生模型总数超过5万个

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.