面向大规模目标检测Transformer的对抗注意力扰动
计算机视觉与模式识别
2025-08-06 v1
摘要
对抗扰动是暴露神经网络脆弱性的有用工具。现有针对目标检测的对抗扰动方法要么局限于针对基于CNN的检测器，要么对基于Transformer的检测器效果不佳。本文提出针对目标检测Transformer的Attention-Focused Offensive Gradient (AFOG) 攻击。AFOG 具备神经网络结构中立性，能有效攻击大型基于Transformer的目标检测器及传统CNN-based 检测器，统一基于注意力框架的对抗方法。本文作出三项原创性贡献：其一，AFOG 利用可学习注意力机制聚焦于多目标检测任务中脆弱的图像区域，较非注意力基准提高最多30.6%；其二，AFOG 的攻击损失通过可学习注意力更新集成两种特征损失，并注入对抗扰动；其三，AFOG 是一种高效且隐形的对抗扰动方法。它通过添加战略性生成且视觉上不可察觉的扰动，揭示检测Transformer的薄弱环节，使经过训练的目标检测模型失效。我们在COCO数据集上对十二个大型检测Transformer进行广泛实验，证明AFOG的有效性。我们的实证结果表明，AFOG 在针对基于Transformer和CNN的检测器方面，较现有攻击方法提高最多83%，且具备优异的速度与隐形性。代码已公开于 https://github.com/zacharyyahn/AFOG。
关键词
引用
@article{arxiv.2508.02987,
title = {Adversarial Attention Perturbations for Large Object Detection Transformers},
author = {Zachary Yahn and Selim Furkan Tekin and Fatih Ilhan and Sihao Hu and Tiansheng Huang and Yichang Xu and Margaret Loper and Ling Liu},
journal= {arXiv preprint arXiv:2508.02987},
year = {2025}
}
备注
ICCV 2025