实验结果显示，采用 POLARIS 训练的 40 亿参数开源模型 Qwen3-4B，在 AIME25 和 AIME24 数学测试中分别取得了 79.4% 和 81.2% 的高准确率，性能超越部分更大规模的闭源模型。尤为突出的是，POLARIS-4B 模型的轻量化设计，使其能够在消费级显卡上轻松部署，大大降低了应用门槛。
POLARIS 的核心创新在于其训练策略。研究团队发现，通过围绕待训练模型定制训练数据和超参数设置，可以显著提升小模型的数学推理能力。具体实践中，团队动态调整了训练数据的难度分布，构建了轻微偏向难题的数据集，以避免样本难度过于集中。同时，引入数据动态更新策略，根据模型在训练过程中的表现实时剔除过易样本，确保训练的有效性。
在采样控制方面，POLARIS 通过精细调控采样温度，平衡了模型性能与生成路径的多样性。研究发现，采样温度对模型性能和路径多样性具有显著影响，过高或过低的温度均不利于模型训练。因此，团队提出了控制探索区的温度初始化方法，并在训练过程中动态调整采样温度，以保持生成内容的多样性。
针对长上下文训练的挑战，POLARIS 引入了长度外推技术，通过位置编码 RoPE 的调整，使模型能够处理超出训练时所见的更长序列。这一创新策略有效补偿了长文本训练中的不足，提升了模型在长文本生成任务上的性能。
此外，POLARIS 还采用了多阶段 RL 训练方法，早期使用较短的上下文窗口进行训练，待模型表现收敛后再逐渐增加上下文窗口长度。这一策略有助于模型逐步适应更复杂的推理任务，提升了训练的稳定性和效果。
目前，POLARIS 的详细训练方法、训练数据、训练代码和实验模型已全部开源。研究团队在多个主流推理评测集上验证了 POLARIS 的有效性，结果显示，不同规模的模型以及不同的模型家族在应用 POLARIS 训练方法后，模型效果均有显著提升。
GitHub 主页:
https://github.com/ChenxinAn-fdu/POLARIS
HuggingFace 主页:
https://huggingface.co/POLARIS-Project
