重新思考注意力机制：对 Softmax 在 Transformer 中的替代方案——多项式方法
机器学习
2026-03-16 v3 计算机视觉与模式识别
机器学习
摘要
本文质疑 Softmax 注意力在 Transformer 中优异性能的根源是否源于其产生对输入概率分布。相反，我们认为 Softmax 的有效性在于其对注意力矩阵 Frobenius 范数的隐式正则化，这有助于稳定训练。基于此，我们探索了实现类似正则化效果的替代激活函数，具体为多项式函数。我们的理论分析表明，某些多项式函数可作为 Softmax 的有效替代方案，尽管违反了 Softmax 通常的正性、归一化和稀疏性属性，在各种 Transformer 应用中仍能实现卓越性能。大量实验结果支持了这些发现，为注意力机制提供了新的视角。
关键词
引用
@article{arxiv.2410.18613,
title = {Rethinking Attention: Polynomial Alternatives to Softmax in Transformers},
author = {Hemanth Saratchandran and Jianqiao Zheng and Yiping Ji and Wenbo Zhang and Simon Lucey},
journal= {arXiv preprint arXiv:2410.18613},
year = {2026}
}