阿里云发布最强开源模型是什么-最强开源模型Qwen2

2024-06-07 17:42:28

最新消息,6月7日阿里云在其技术博客正式发布开源模型Qwen2-72B,Qwen2-72B整体性能相比Qwen1.5-110B大幅提升!登上最强开源大模型的宝座。

Qwen2系列模型在代码、数学、推理、指令遵循、多语言理解等能力上实现了大幅提升。在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等国际权威测评中,Qwen2-72B一举斩获十几项世界冠军,超过美国的Llama3。

阿里云发布最强开源模型是什么?最强开源模型Qwen2

阿里云发布最强开源模型是什么?最强开源模型Qwen2

通义千问团队在技术博客中披露,Qwen2系列包含5个尺寸的预训练和指令微调模型,Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B,其中Qwen2-57B-A14B为混合专家模型(MoE)。Qwen2所有尺寸模型都使用了GQA(分组查询注意力)机制,以便让用户体验到GQA带来的推理加速和显存占用降低的优势。

阿里云发布最强开源模型是什么?最强开源模型Qwen2

在中英文之外,模型训练数据中增加了27种语言相关的高质量数据,提升了模型的多语言能力。Qwen2还增大了上下文长度支持,Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。

Qwen系列模型正在全球爆火,总下载量一个月内翻了一倍,已突破1600万次。全球开源社区已经出现了超过1500款基于Qwen二次开发的模型。Qwen系列的72B、110B模型多次登顶HuggingFace 的Open LLM Leaderboard开源模型榜单。