DeepSeek 负载均衡优化策略

1. 无辅助损失的负载均衡策略

DeepSeek 引入了一种无辅助损失的负载均衡策略，避免了传统方法中因引入辅助损失函数而导致的模型性能下降问题。

• 动态调整接收概率：根据每个专家的历史利用率，动态调整其接收新任务的概率。高负载专家的接收概率降低，低负载专家的接收概率增加。
• 无需辅助损失函数：直接基于专家的实际负载情况进行概率调整，避免了辅助损失函数可能带来的训练复杂性和收敛问题。
• 动态偏置调整：在训练过程中，系统监控每个专家的负载情况，并动态调整偏置项，确保负载分布的动态平衡。

2. Expert Parallelism Load Balancer (EPLB)

EPLB 是 DeepSeek 推出的专家并行负载均衡器，专门用于解决大规模模型训练中专家负载不均衡的问题。

• 冗余专家策略：通过复制高负载专家并合理分配到不同 GPU 上，实现负载均衡。
• 分层负载均衡：将专家分为不同层级，逐层优化负载分配，确保整体负载均衡。
• 全局负载均衡：在全局范围内优化专家负载分配，确保每个专家的负载均匀。
• 组内限制路由：结合 group-limited expert routing 技术，将同一组专家放置在同一节点内，减少跨节点通信开销。

3. 序列级平衡损失函数

为了进一步优化单个序列内的负载分配，DeepSeek 引入了序列级平衡损失函数 （Complementary Sequence-Wise Auxiliary Loss）。

• 避免极端不平衡：确保单个序列中专家负载的均衡性，防止出现极端不平衡的情况。
• 提升模型性能：通过优化序列级负载分配，进一步提升模型的性能和稳定性。

4. 动态偏置项调整

DeepSeek 通过动态调整偏置项来优化专家负载分配。

• 偏置项应用：每个专家的亲和力分数通过 sigmoid 函数计算后，加上对应的偏置项，用于确定路由决策。
• 实时更新：偏置项的更新基于每个专家的最新负载情况，确保负载分布的动态平衡。

5. 优势总结

• 避免性能下降：无辅助损失策略避免了传统方法中因辅助损失函数引入的干扰梯度，保持了模型性能。
• 动态平衡：通过实时监控和调整，确保专家负载的动态平衡。
• 消除极端不平衡：通过序列级平衡损失函数，进一步优化单个序列内的负载分配。
• 提升模型性能上限：研究表明，该策略能够在保持高效训练的同时，显著提升模型的性能上限。

6. 应用场景

这些负载均衡优化策略广泛应用于 DeepSeek-V3 模型中，特别是在大规模预训练和推理任务中表现突出。例如：

• 大规模预训练：在 140T tokens 的预训练任务中，DeepSeek-V3 仅需 2.6 天即可完成。
• 高效推理：在推理任务中，通过负载均衡优化，DeepSeek-V3 能够显著降低计算资源消耗，提高推理效率。

7. 总结

DeepSeek 通过无辅助损失的负载均衡策略和专家并行负载均衡器 （EPLB），在大规模模型训练和推理中实现了高效的负载均衡。这些策略不仅优化了计算资源的利用，还显著提升了模型的性能和稳定性。