二级注意力沉淀的存在与行为
摘要
注意力沉淀是指某些标记（通常是开始序列（BOS）标记）接收到的注意力显著高于其语义相关性 despite limited（ limited）语义相关性。在本文中，我们识别了一类注意力沉淀，称为次级沉淀（secondary sinks），其与先前研究的沉淀（我们称为 primary sinks）在根本上有所不同。虽然先前的研究已识别除BOS之外的标记有时会成为沉淀，但发现这些沉淀 exhibit（ exhibit）类似于BOS标记的属性。 Specifically（ specifically），它们在相同的层中出现，持续存在整个网络，并吸引大量注意力质量。相比之下，我们发现次级沉淀主要出现在中间层，并且可以持续可变数量的层，吸引较小但仍显著的注意力质量。通过广泛的实验，我们分析了这些次级沉淀出现的地方、其属性、它们是如何形成的，以及它们对注意力机制的影响。 Specifically（ specifically），我们展示了：（1）这些沉淀由特定的中间层 MLP 模块形成，这些 MLP 将标记表示映射到与该层 primary sink 方向对齐的向量。（2）这些向量的 -范数决定了次级沉淀的沉淀得分，也决定了其持续的层数，从而导致不同的对注意力机制的影响。（3）primary sink 在中间层减弱，恰好与次级沉淀的出现相吻合。我们观察到，在更大规模的模型中，沉淀的位置和持续时间（称为沉淀水平）出现得更加确定和频繁。 Specifically（ specifically），我们在QwQ-32B中识别出三个沉淀水平，在Qwen3-14B中识别出六个沉淀水平。我们在 github.com/JeffreyWong20/Secondary-Attention-Sinks 上开源了我们的发现。
引用
@article{arxiv.2512.22213,
title = {On the Existence and Behavior of Secondary Attention Sinks},
author = {Jeffrey T. H. Wong and Cheng Zhang and Louis Mahon and Wayne Luk and Anton Isopoussu and Yiren Zhao},
journal= {arXiv preprint arXiv:2512.22213},
year = {2026}
}