ART：注意力替换技术以提高大语言模型的事实性
计算与语言
2026-04-09 v1
摘要
大型语言模型（LLM）中的幻觉问题仍然是一个重要挑战，尤其是在问答任务中，模型常常生成看似合理却不正确或无关的信息。尽管已提出 various 方法来缓解幻觉问题，但注意力模式与幻觉之间的关系尚未得到充分探索。本文分析了注意力得分在 LLM 每一层和每个注意力头中的分布，揭示了一种常见且有趣的现象：LLM 的浅层主要依赖均匀注意力模式，即模型在整个序列上均匀分配注意力。这种均匀注意力模式可能导致幻觉，因为模型未能聚焦于最相关信息。为缓解此问题，本文提出一种无训练方法——注意力替换技术（ART），将浅层的均匀注意力模式替换为局部注意力模式。此变更使模型更专注于相关上下文，从而减少幻觉。通过大量实验，ART 在多种 LLM 架构上显著减少幻觉，证明其有效性和通用性，无需微调或额外训练数据。
引用
@article{arxiv.2604.06393,
title = {ART: Attention Replacement Technique to Improve Factuality in LLMs},
author = {Ziqin Luo and Yihao Quan and Xiaofeng Zhang and Xiaosong Yuan and Chen Shen},
journal= {arXiv preprint arXiv:2604.06393},
year = {2026}
}