MuDAF：基于注意力头对比学习的长上下文多文档注意力聚焦
计算与语言
2025-02-20 v1
摘要
大型语言模型（LLM）常因输入中的无关信息而表现出注意力分散，这严重削弱了其长上下文能力。受近期关于长上下文事实性中检索头有效性的研究启发，我们旨在通过直接改进此类检索头来解决这一注意力分散问题。我们提出了多文档注意力聚焦（MuDAF），这是一种通过对比学习在头级别显式优化注意力分布的新方法。实验结果表明，MuDAF 能显著提升 LLM 的长上下文问答性能，尤其是在多文档问答中。对检索得分和注意力可视化的广泛评估表明，MuDAF 在使注意力头更聚焦于相关信息并减少注意力分散方面具有巨大潜力。
引用
@article{arxiv.2502.13963,
title = {MuDAF: Long-Context Multi-Document Attention Focusing through Contrastive Learning on Attention Heads},
author = {Weihao Liu and Ning Wu and Shiping Yang and Wenbiao Ding and Shining Liang and Ming Gong and Dongmei Zhang},
journal= {arXiv preprint arXiv:2502.13963},
year = {2025}
}
备注
18 pages