间接注意力：将上下文错位转化为特征
机器学习
2025-10-01 v1 人工智能
摘要
注意力机制已成为现代深度学习架构的基石，其中键和值通常源自相同的底层序列或表示。这项工作探索了一种不太常规的场景，即键和值源自不同的序列或模态。具体而言，我们首先分析了注意力机制在噪声值特征下的行为，确立了一个临界噪声阈值，超过该阈值信号退化将变得显著。此外，我们将上下文（键，值）错位建模为值特征内结构化噪声的一种有效形式，证明这种错位引起的噪声可以大幅超过该临界阈值，从而损害标准注意力的有效性。受此启发，我们引入了间接注意力，这是一种改进的注意力机制，可在上下文错位场景中间接推断相关性。我们在一系列合成任务和实际应用中评估了间接注意力的性能，展示了其处理错位的卓越能力。
引用
@article{arxiv.2509.26015,
title = {Indirect Attention: Turning Context Misalignment into a Feature},
author = {Bissmella Bahaduri and Hicham Talaoubrid and Fangchen Feng and Zuheng Ming and Anissa Mokraoui},
journal= {arXiv preprint arXiv:2509.26015},
year = {2025}
}