昆仑万维再次开源奖励模型 Skywork-Reward-V2

基于优质混合偏好数据开发的 Skywork-Reward-V2 系列，展现出广泛适用性和出色能力。它涵盖对人类偏好的通用对齐、客观正确性、安全性、风格偏差抵抗能力以及 best-of-N 扩展能力等多个维度。在 RewardBenchv1/v2、PPEPreference&Correctness、RMB、RM-Bench、JudgeBench 等七个主流奖励模型评估基准上全面达到当前最优 （SOTA） 水平。即便基于最小模型 Skywork-Reward-V2-Qwen3-0.6B，整体性能也几乎达到上一代最强模型的平均水平，Skywork-Reward-V2-Qwen3-1.7B 更是超越当前开源奖励模型的 SOTA。最大规模的 Skywork-Reward-V2-Llama-3.1-8B 在所有主流基准测试中全面超越，成为当前整体表现最优的开源奖励模型。

该系列模型还具备广泛覆盖多维人类偏好能力。在通用偏好评估基准上优于多个参数更大的模型及最新生成型奖励模型; 在客观正确性评估方面，知识密集型任务表现突出; 在多项高级能力评估中，包括 Best-of-N 任务、偏见抵抗能力测试、复杂指令理解及真实性判断等均取得领先成绩，展现出出色的泛化能力与实用性。

此外，数据筛选流程的高度扩展性显著提升了奖励模型性能。经过精细筛选和过滤的偏好数据，在多轮迭代训练中能持续有效提升模型整体性能，尤其在第二阶段全自动数据扩展中表现显著。早期版本实验显示，仅用 1.8% 的高质量数据训练 8B 规模模型，性能就超过当前 70B 级 SOTA 奖励模型，印证了 Skywork-SynPref 数据集在规模和质量上的优势。

HuggingFace 地址:

https://huggingface.co/collections/Skywork/skywork-reward-v2-685cc86ce5d9c9e4be500c84

GitHub 地址:

https://github.com/SkyworkAI/Skywork-Reward-V2