UT-ACA：基于不确定性触发的自适应上下文分配用于长上下文推理
计算与语言
2026-03-20 v1 机器学习
摘要
由于注意力稀释和分布外退化，长上下文推理仍是大型语言模型的挑战。上下文选择通过关注子集关键-值缓存条目来缓解此限制，但大多数方法在解码期间分配固定的上下文预算，尽管上下文需求在标记级别上高度非均匀。为解决此问题，我们提出不确定性触发自适应上下文分配 (UT-ACA)，一个在标记级不确定性基础上动态调整上下文窗口的推理时框架。UT-ACA 学习一个不确定性检测器，将语义嵌入与 logits 基于置信度相结合，同时考虑解码步骤中的不确定性累积。当指示证据不足时，UT-ACA 选择回滚、扩大上下文窗口并用额外支持重新生成该标记。实验表明，UT-ACA 在长上下文设置下显著减少平均上下文用量，同时保持生成质量。
引用
@article{arxiv.2603.18446,
title = {UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference},
author = {Lang Zhou and Shuxuan Li and Zhuohao Li and Shi Liu and Zhilin Zhao and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2603.18446},
year = {2026}
}