自适应 GoGI-Skip：联合动态不确定性的目标梯度重要性以提高推理效率
计算与语言
2026-05-05 v3 人工智能
摘要
链路思考（Chain-of-Thought, CoT）提示以牺牲推理速度为代价换取推理准确性。现有压缩方法则被迫做出妥协：静态梯度技术独立处理每个标记，导致序列逻辑被切断；而基于不确定性的剪枝则忽略最终答案。我们提出自适应 GoGI-Skip 框架，通过非线性方式将目标梯度重要性（Goal-Gradient Importance, GoGI）与自适应动态跳过（Adaptive Dynamic Skipping, ADS）耦合，以解决这一矛盾。GoGI 通过梯度灵敏度量化每个标记对答案正确性的功能贡献。ADS 利用运行时熵动态调节 GoGI 阈值，在高不确定性交叉点处保留那些梯度较低且对结构连贯性至关重要的标记。我们在 7,472 条 MATH 轨迹上进行训练，该策略可零-shot 迁移至 AIME、GPQA 和 GSM8K，显著减少标记数量超过 45%，在不牺牲准确性的前提下加速推理最高可达 2.0 倍。这些结果表明，思考最优压缩要求目标导向与认识论不确定性之间的协同作用。
引用
@article{arxiv.2505.08392,
title = {Adaptive GoGI-Skip: Coupling Goal-Gradient Importance with Dynamic Uncertainty for Efficient Reasoning},
author = {Ren Zhuang},
journal= {arXiv preprint arXiv:2505.08392},
year = {2026}
}
备注
19 pages, 15 figures