当前，提高 LLM 推理能力常依赖 「自一致性+多次采样再表决」 的策略 （即 majorityvoting），但这种方法会导致计算资源迅速膨胀，耗时耗费，大量低质量推理路径反而可能造成错误答案胜出。DeepConf 的创新之处在于，它不再对所有推理路径一视同仁，而是通过模型内部的置信度信号，对推理路径进行筛选与权重调整。
DeepConf 引入了多种精细的置信度指标，比如:
-
组置信度 （GroupConfidence）: 计算推理过程中某一段 token 的平均置信度;
-
尾部置信度 （TailConfidence）: 关注推理结尾部分的置信程度;
-
最低组置信度 （LowestGroupConfidence） : 找出推理路径中最 「脆弱」 的环节; -
底部百分位置信度 （Bottom-10%Confidence）: 聚焦最不自信的那部分推理内容）。
DeepConf 支持两种执行方式:
-
离线模式 （OfflineThinking）: 先生成多个完整推理路径，再按置信度筛选较优路径参与表决或加权投票;
-
在线模式 （OnlineThinking）: 在推理生成过程中实时评估，当当前路径置信度低于阈值时，立刻终止该路径以节省资源。
在多个开放模型 （如 DeepSeek-8B、Qwen3-32B、GPT-OSS-120B） 以及复杂数学与 STEM 推理任务 (AIME、HMMT、BRUMO25、GPQA-Diamond) 中，DeepConf 表现惊艳:
-
离线模式下，使用 GPT-OSS-120B 在 AIME2025 的准确率高达 99.9%，同时生成的 token 数量比传统方法少 84.7%;
-
在线模式下，在 AIME24 中，DeepSeek-8B 的准确率提升了 5.8 个百分点，却使用了 77.9% 更少的 token。
企业可根据使用场景风险偏好选择不同设定:
-
DeepConf-high（保守模式）: 一般能减少约 50% 的生成成本，但准确性几乎不受影响，适用于金融、法律等高风险场景;
-
DeepConf-low（激进模式）: 节省 70%–85% 的 token，适用于问答草稿、知识检索等对速度要求高但容错较灵活的场景。
使用 DeepConf 无需重新训练模型，只需增加少量推理时的逻辑处理。此外，它还具备良好兼容性，可与现有推理框架 （如 vLLM、SGLang、TensorRT-LLM） 无缝集成。正如研究者所言，这为现实企业部署 LLM 推理任务提供了一个 「可插拔」 的高效方案。
论文:https://arxiv.org/abs/2508.15260
划重点:
-
🧠置信度导向选择:DeepConf 基于局部置信度 （组、尾部、
最低点等） 筛选或权重排序推理路径，而非一刀切多数投票。 -
⏱显著提升效率: 达到
最高 99.9% 的推理准确率，同时减少生成 token 多达 84.7%。 -
️🎛可调节策略模式: 企业可按风险偏好选择 「高安全性」 或 「高效率」 模式，用最少资源获取
最优结果。
