基于对抗鲁棒性视角理解差分注意力的灵敏度
机器学习
2026-03-17 v2 密码学与安全
摘要
差分注意力 (DA) 作为标准注意力的改进方案，提出通过减法结构抑制冗余或噪声上下文，从而减少情境幻觉。虽然这种设计在聚焦任务相关信息方面更为尖锐，但我们发现它也在对抗扰动下引入结构性脆弱性。我们的理论分析识别出负梯度对齐——即 DA 的减法促成的配置——为灵敏度放大器的关键驱动因素，导致梯度范数增加和局部 Lipschitz 常数升高。我们通过在 ViT/DiffViT 和评估预训练的 CLIP/DiffCLIP 上进行系统实验来实证验证了这一脆弱原理。这些结果表明，标准注意力相比下，攻击成功率更高，梯度方向更常出现对抗，局部灵敏度更强。此外，深度相关实验揭示了堆叠 DA 层会通过深度相关噪声消除来削弱小扰动，但在更大攻击预算下，这种保护会消失。总体而言，我们的发现揭示了基本的权衡：DA 在干净输入上改善了判别性聚焦，但增加了对抗性脆弱性，凸显了未来注意力机制在选择性和鲁棒性方面需要联合设计的必要性。
关键词
引用
@article{arxiv.2510.00517,
title = {Understanding Sensitivity of Differential Attention through the Lens of Adversarial Robustness},
author = {Tsubasa Takahashi and Shojiro Yamabe and Futa Waseda and Kento Sasaki},
journal= {arXiv preprint arXiv:2510.00517},
year = {2026}
}
备注
Accepted at ICLR 2026