揭示注意力的简单性：自适应长程上下文头识别
计算与语言
2025-03-06 v2 机器学习
摘要
处理长上下文的能力是许多自然语言处理任务的关键，但仍是重要挑战。虽然在提升注意力机制效率方面取得了显著进展，但仍缺乏对注意力头在长程语境下功能的理解。在本文中，我们观察到某些注意力头始终仅关注本地信息，而其他注意力头则根据查询在本地信息和长程上下文信息之间来回切换。这引出一个问题：哪些注意力头需要长程上下文信息才能准确预测下一个标记？我们证明，仅凭本地键即可预测哪些注意力头对于长程上下文处理至关重要。核心思想是利用二阶矩近似来建模长程得分。这一发现揭示了序列中注意力的简单属性，为显著提升效率开辟了可能之门。
引用
@article{arxiv.2502.09647,
title = {Unveiling Simplicities of Attention: Adaptive Long-Context Head Identification},
author = {Konstantin Donhauser and Charles Arnal and Mohammad Pezeshki and Vivien Cabannes and David Lopez-Paz and Kartik Ahuja},
journal= {arXiv preprint arXiv:2502.09647},
year = {2025}
}