小巧却强大的推理引擎!Ring-mini-2.0 震撼发布,性能超越 10B 模型

今天,我们正式推出了 Ring-mini-2.0,这是一款基于 Ling-mini-2.0 架构深度优化的高性能推理型 MoE 模型。Ring-mini-2.0 的总参数量达到 16B,但在实际运行中仅需激活 1.4B 参数,便能实现相当于 10B 级别以下的密集模型的推理能力。

这款模型在逻辑推理、编程和数学任务中表现尤为出色,支持 128K 的长上下文,使得其在各种应用场景中都能展现出强大的能力。此外,Ring-mini-2.0 的生成速度也相当惊人,能够实现 300+token/s 的快速生成,经过优化后更是可以突破 500+token/s。

图源备注:图片由 生成,图片授权服务商

在推理能力的提升方面,Ring-mini-2.0 在 Ling-mini-2.0-base 的基础上进行了更深层次的训练,通过 Long-COTSFT、大规模 RLVR 和 RLHF 的联合优化,显著增强了模型在复杂推理任务中的稳定性和泛化能力。我们在多个高难度基准测试中,发现其性能显著超越了 10B 以下的密集模型,甚至可以与一些更大型的 MoE 模型相媲美,特别是在逻辑推理方面表现优异。

此外,Ring-mini-2.0 在设计上注重高效性,通过 1/32 的专家激活比和 MTP 层架构优化,实现了约 7-8B 密集模型的等效性能。这种高稀疏度和小激活设计,使得其在 H20 环境下可以实现 300+token/s 的推理速度,同时结合 ExpertDualStreaming 的优化,进一步降低了推理成本。

为了促进与工业界的研究和应用,Ring-mini-2.0 的模型权重、训练策略和数据配方将全面。我们期待这款 「小而优」 的模型能够成为小型推理模型的首选,并欢迎大家访问我们的开源仓库进行下载和使用。未来,在 Ling2.0 架构的支持下,我们将继续推出更大、更快、更强的语言模型和全模态模型,敬请期待!

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给 TA 打赏
共 {{data.count}} 人
人已打赏
AI 资讯

重磅发布!中文互联网基础语料 3.0 助力 AI 发展,数据量高达 120GB

2025-9-19 1:20:50

AI 资讯

​Meta 推出小型推理模型 MobileLLM-R1,企业应用向 「小型 AI」 转型

2025-9-19 1:21:07

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索