QUEST：一种基于查询调制球面注意力的鲁棒注意力公式
机器学习
2026-04-02 v1 人工智能
计算机视觉与模式识别
摘要
Transformer 模型架构已成为深度学习中最广泛使用的架构之一，其核心是注意力机制。标准注意力公式对查询向量和键向量之间的缩放点积应用 softmax 操作。我们探讨查询向量和键向量的范数所扮演的角色，当这些范数任意增大时可能导致训练不稳定。我们证明即使在简单的 Transformer 模型中，在数据存在易于学习的虚假模式时也可能发生这种情况。我们提出了一种新的注意力公式——QUEry-modulated Spherical aTtention（QUEST），将键约束到超球面潜空间，同时仍允许各个标记灵活地控制注意力分布的锐度。QUEST 可以作为标准注意力的即插即用替换方案。我们以视觉应用为重点，同时也探索其他领域以展示该方法的通用性。我们证明：（1）QUEST 训练无不稳定现象，（2）产生的模型性能更优，（3）对数据损坏和对抗攻击具有鲁棒性。
引用
@article{arxiv.2604.00199,
title = {QUEST: A robust attention formulation using query-modulated spherical attention},
author = {Hariprasath Govindarajan and Per Sidén and Jacob Roll and Fredrik Lindsten},
journal= {arXiv preprint arXiv:2604.00199},
year = {2026}
}
备注
Accepted to ICLR 2026