注意力汇：一种嵌入的“捕获、标记、释放”机制

大语言模型（LLM）通常将其注意力集中在少数几个特定的标记上，这些标记被称为注意力汇。常见的例子包括第一个标记（一种与提示无关的汇）和标点符号标记（与提示相关）。虽然导致这些汇的标记通常缺乏直接的语义含义，但汇的存在对于模型性能至关重要，尤其是在模型压缩和KV缓存下。尽管它们普遍存在，但注意力汇——尤其是那些超出第一个标记的汇——的功能、语义角色和起源仍然知之甚少。在这项工作中，我们进行了一项全面的研究，证明注意力汇：捕获一系列标记，使用嵌入空间中的一个共同方向标记它们，然后将它们释放回残差流中，在那里标记随后会根据它们获得的标签被检索。探测实验揭示这些标签携带了语义上有意义的信息，例如陈述的真实性。这些发现扩展到推理模型，其中该机制跨越更多头并解释了嵌入中更大的方差，或扩展到具有查询-键归一化的近期模型，其中汇仍然同样普遍。为了鼓励未来的理论分析，我们引入了一个最小问题，该问题可以通过“捕获、标记、释放”机制解决，并且该机制通过训练出现。