微软研究院开源的 rStar2-Agent 模型在 AI 数学推理领域引发关注，这款 140 亿参数的模型通过创新的智能体强化学习技术，在多项数学基准测试中超越了参数量达 6710 亿的 DeepSeek-R1 模型。
rStar2-Agent 的核心创新在于摒弃了传统的思维链方法，转而采用智能体交互机制。该模型能够自主规划推理过程，调用 Python 代码执行工具进行验证，并根据反馈调整推理步骤，避免了传统 CoT 方法中常见的错误累积问题。
在
值得注意的是，rStar2-Agent 的响应长度显著更短。在 AIME24 测试中平均约 9340 个 token，AIME25 约 10943 个 token，仅为 DeepSeek-R1 的一半左右，展现出更高的推理效率。
训练效率方面，该模型仅需一周时间完成 510 个强化学习步骤，使用 64 块 MI300XGPU 即可训练完成。其强化学习基础设施支持每步高达 4.5 万个并发工具调用，平均延迟仅 0.3 秒。
模型引入了 GRPO-RoC 算法来处理代码执行中的环境噪声问题，通过"正确时重采样"策略保留高质量推理轨迹，提高训练效果。
在泛化能力方面，rStar2-Agent 在 GPQA-Diamond 科学推理基准上优于 DeepSeek-V3，在 BFCLv3 工具使用任务和 IFEval、Arena-Hard 等通用测试中也表现良好，显示出智能体强化学习对通用能力的积极影响。
微软已将 rStar2-Agent 的代码和训练方法开源，基于 VERL 框架实现多阶段强化学习训练。这一突破表明，通过智能的训练策略，小型模型可以在特定任务上匹敌大型模型的表现，为资源有限的研究者和开发者提供了新的可能性。
这一成果挑战了"参数越多性能越好"的传统观念，证明了训练方法和架构创新在 AI 发展中的重要作用。对于 AI 行业而言，这可能预示着未来发展将更注重效率和专用性，而非单纯追求模型规模。
项目地址：https://github.com/microsoft/rStar
