注意力的谱条件化提升Transformer性能
机器学习
2026-03-10 v1
摘要
我们对Transformer中注意力模块的雅可比矩阵进行了理论分析,表明它由定义注意力机制的查询、键和值投影所决定。利用这一见解,我们引入了一种方法,系统地改变每个注意力层的谱性质以降低雅可比矩阵的条件数,从而改善Transformer网络中注意力层的整体条件化。我们通过实验证明,这种改进的雅可比条件化在实践中转化为增强的性能。我们的方法简单、适用广泛,并且可以轻松集成作为多种现有注意力机制的即插即用替代品。我们在不同的Transformer架构和任务上验证了其有效性,展示了持续的性能提升。
引用
@article{arxiv.2603.07162,
title = {Spectral Conditioning of Attention Improves Transformer Performance},
author = {Hemanth Saratchandran and Simon Lucey},
journal= {arXiv preprint arXiv:2603.07162},
year = {2026}
}
备注
NeurIPS 2025