注意力残差中的注意力沉底与异常值
机器学习
2026-05-19 v1 人工智能
摘要
我们提出了 OASIS，这是一种基于跨层空信号的异常值和沉底感知技术。AttnResidual 架构引入额外的深度归一化通道后，能够提高跨层路由灵活性，但也加剧了注意力沉底、激活异常值以及推理稳定性和量化鲁棒性的性能下降。OASIS 通过引入基于 Softmax1 的零空间并将 token 级别的零证据与深度路由通过跨层空信号耦合，从而减少主导路由的沉底，提高结构鲁棒性。理论上，我们展示了 AttnResidual 的双归一化设计如何加剧沉底形成和量化脆弱性。实验上，我们在三个真实数据集上将 OASIS 与五个基线方法进行比较，观察到在注意力沉底和后量化性能方面均表现出一致的改进。值得注意的是，OASIS 在评估设置下平均降低了最大无穷范数 9.26% 和平均峰度 2.60%，同时在 W8A8 下降低了困惑度 75.85%，在 W4A4 下将 GSM8K Pass@1 提升 12.42%。
引用
@article{arxiv.2605.17887,
title = {Attention Sinks and Outliers in Attention Residuals},
author = {Haozheng Luo and Haoran Dai and Shaoyang Zhang and Xi Chen and Eric Hanchen Jiang and Yijiang Li and Jingyuan Huang and Chenghao Qiu and Chenwei Xu and Zhenyu Pan and Haotian Zhang and Binghui Wang and Yan Chen},
journal= {arXiv preprint arXiv:2605.17887},
year = {2026}
}