通过集成非注意力提升对抗性迁移性

集成攻击将来自不同架构的替代模型输出进行整合，这些攻击可以与各种梯度基础攻击结合，以提高对抗性迁移性。然而，先前的工作表明，在跨异构模型架构的迁移上表现不佳。主要原因是，异构替代模型的梯度更新方向差异很大，难以在充分发挥各个模型优势的同时降低集成模型的梯度方差。为解决这一挑战，我们设计了一种新型集成攻击NAMEA，该攻击首次将集成模型来自非注意力区域的梯度整合到迭代梯度优化过程中。我们的设计灵感来自观察到，异构模型的注意力区域呈现剧烈变化，因此ViTs的非注意力区域可能是CNNs的关注点，反之亦然。因此，我们分别合并来自注意力和非注意力区域的梯度，以融合CNN和ViT的迁移信息。具体而言，我们首次提出一种将非注意力区域梯度从注意力区域梯度中解耦的方法，同时通过元学习合并梯度。在ImageNet数据集上的实验表明，NAMEA相较于AdaEA和SMER（最先进的集成攻击）分别提高了15.0%和9.6%。本工作是首次尝试探索集成非注意力在提升跨架构迁移性方面的潜力，为发起集成攻击提供了新的见解。