利用位置对比解码缓解长上下文 LLM 中的后验显著性衰减
计算与语言
2025-06-12 v2
摘要
虽然大型语言模型 (LLM) 支持长上下文，但它们在上下文窗口内仍面临性能下降的问题。当前的解决方案带来了过高的训练成本，使得统计行为和低成本方法尚未得到充分探索。从解码的角度来看，我们识别出后验显著性衰减 (PSA) 现象，其中显著性比率与长文本性能下降相关。值得注意的是，尽管存在衰减，黄金 token 在解码空间中仍占据高排名位置。受此启发，我们提出了免训练的位置对比解码 (PCD)，该方法将源自长感知注意力的 logits 与源自设计的局部感知注意力的 logits 进行对比，使模型能够专注于大规模短到长训练带来的增益。通过长程衰减模拟分析，我们证明 PCD 能有效缓解注意力分数下降。实验结果表明，PCD 在长上下文基准上取得了 SOTA 性能。
引用
@article{arxiv.2506.08371,
title = {Mitigating Posterior Salience Attenuation in Long-Context LLMs with Positional Contrastive Decoding},
author = {Zikai Xiao and Ziyang Wang and Wen Ma and Yan Zhang and Wei Shen and Yan Wang and Luqi Gong and Zuozhu Liu},
journal= {arXiv preprint arXiv:2506.08371},
year = {2025}
}