Sink 与对角线模式作为注意力切换和防过平滑机制
机器学习
2026-05-12 v1 人工智能
机器学习
摘要
本文研究sink和对角线模式在注意力切换和防过平滑机制中的作用。我们分析了在何种几何条件下才能表示sink，表明需要在sink的嵌入与所有其他嵌入之间保持对齐。接下来，我们细化了当前对sink在防过平滑中作用的理解：我们指定稠密注意力可证明比稀疏注意力平滑的条件，并在实践中验证这些条件常常满足。我们进一步证明了sink与硬注意力切换之间的等价性，其中注意力的输出恰好为0。最后，我们松化硬注意力切换，允许token进行自通信：我们提供了表示sink与对角线模式成本的定量比较，说明为何在预训练变压器中更倾向于采用sink。对对角线模式的引入和分析，以及对注意力切换的泛化，填补了防过平滑需求与sink提供能力之间的差距，同时确立了何时以及为何注意力层在token通信不必要时会像MLP一样发挥作用。
引用
@article{arxiv.2605.08453,
title = {Sink vs. diagonal patterns as mechanisms for attention switch and oversmoothing prevention},
author = {Peter Súkeník and Cristina López Amado and Christoph H. Lampert and Marco Mondelli},
journal= {arXiv preprint arXiv:2605.08453},
year = {2026}
}