你在沉没什么？注意力沉没的几何方法
机器学习
2025-08-05 v1 人工智能
计算与语言
摘要
注意力沉没（Attention Sink，AS）是变压器注意力图中一致模式，其中某些标记（常为特殊标记或位置锚点）不成比例地吸引其他标记的注意力。我们表明，在变压器中，AS 不是架构副产品，而是建立参考坐标系以锚定表征空间的基本几何原理的体现。我们分析了多个架构，识别出三种参考坐标系类型：集中式、分布式和双向式，与注意力沉没现象相关。我们表明，这些现象在训练的最早阶段便作为建立高维空间中稳定坐标系的优化解而出现。我们表明，架构组件，特别是位置编码实现方式，对特定参考坐标系类型的影响。此视角改变了我们对变压器注意力机制的理解，为架构设计及其与 AS 的关系提供了洞见。
引用
@article{arxiv.2508.02546,
title = {What are you sinking? A geometric approach on attention sink},
author = {Valeria Ruscio and Umberto Nanni and Fabrizio Silvestri},
journal= {arXiv preprint arXiv:2508.02546},
year = {2025}
}