在 AI大模型竞争白热化的当下，高效推理与长上下文处理已成为开发者痛点。近日，蚂蚁集团旗下百灵大模型团队正式开源 Ring-flash-linear-2.0-128K，一款专为超长文本编程设计的创新模型。该模型以混合线性注意力机制和稀疏 MoE 架构为核心，激活仅 6.1B 参数即媲美 40B 密集模型，在代码生成、智能代理等领域实现 SOTA（
创新架构: 线性+标准注意力混合，MoE 优化平衡性能与效率
Ring-flash-linear-2.0-128K 基于 Ling-flash-base-2.0 迭代升级，总参数规模达 104B，但通过 1/32 专家激活比率和多任务处理层 （MTP） 等优化，仅激活 6.1B 参数 (非嵌入 4.8B)，实现近线性时间复杂度和常量空间复杂度。核心亮点在于混合注意力机制: 主干采用自研线性注意力融合模块，辅以少量标准注意力，专为长序列计算提效。相比传统模型，该架构在 H20 硬件上支持 128K 上下文下 200+token/s 生成速度，日常使用提速 3 倍以上，完美适配资源受限场景。
训练升级:1T 令牌额外微调+RL 稳定，复杂推理能力跃升 SOTA
模型从 Ling-flash-base-2.0 转换而来，进一步在额外 1T 令牌高质量数据集上训练，结合稳定监督微调 （SFT） 和多阶段强化学习 (RL)，攻克 MoE 长链推理训练不稳定难题。得益于蚂蚁自研 「棒冰 (icepop)」 算法，该模型在高难度任务中展现卓越稳定性: 在 AIME2025 数学竞赛获 86.98 高分，CodeForces 编程 Elo 达 90.23，逻辑推理与创意写作 v3 均超 40B 以下密集模型 (如 Qwen3-32B)。基准测试显示，它不仅匹敌标准注意力模型 (如 Ring-flash-2.0)，还在多项开源 MoE/Dense 模型中拔得头筹。
长上下文黑科技: 原生 128K+YaRN 扩展至 512K，长输入输出零卡顿
针对编程痛点，Ring-flash-linear-2.0-128K 原生支持 128K 上下文窗口，开发者可通过 YaRN 外推技术轻松扩展至 512K。在长形式输入/输出场景中，预填充 （Prefill） 阶段吞吐量较 Qwen3-32B 提升近 5 倍，解码 (Decode) 阶段达 10 倍加速。实测显示，在 32K+上下文编程任务中，模型保持高精确度，无 「穿模」 或漂浮感问题，特别适用于前端开发、结构化代码生成和代理模拟等复杂场景。
开源即用:HuggingFace+ModelScope 双平台部署，零门槛上手指南
为加速社区落地，百灵团队已将模型权重同步开源至 HuggingFace 与 ModelScope，支持 BF16/FP8 格式。安装依赖后，即可通过 Transformers、SGLang 或 vLLM 框架一键加载:
-HuggingFace 示例:pipinstallflash-linear-attention==0.3.2transformers==4.56.1，加载后直接 generate 长代码提示。
-vLLM 在线推理:tensor-parallel-size4 下，GPU 利用率 90%，支持 API 调用。
技术报告详见 arXiv（https://arxiv.org/abs/2510.19338），开发者可立即下载体验。
MoE 线性注意力时代开启，蚂蚁百灵领跑高效编程 AI
此次开源标志着蚂蚁百灵在 「MoE+长思维链+RL」 路线上的新突破，从 Ling2.0 系列到 Ring-linear，效率提升 7 倍不止。AIbase 认为，在成本仅 1/10 的长文本推理浪潮中，该模型将重塑开发者生态: 编程小白可秒生复杂脚本，代理系统更智能，企业级应用零门槛部署。未来，随着 Ring-1T 万亿级旗舰跟进，国产 MoE 或将主导全球高效 AI 赛道。
结语
Ring-flash-linear-2.0-128K 以 「小激活大性能」 诠释 AI 开源新范式，为超长编程注入强劲引擎。开发者们，速上 HuggingFace/ModelScope 试水吧!AIbase 将追踪其社区迭代动态。
