检测变换器对抗鲁棒性评估
计算机视觉与模式识别
2024-12-30 v1 机器学习
摘要
鲁棒的对象检测对于自动驾驶和移动机器人至关重要，因为准确检测车辆、行人和障碍物对于确保安全至关重要。尽管检测变换器（DETR）在对象检测方面取得了进展，但其对抗攻击的鲁棒性仍未得到充分探讨。本文针对DETR模型及其变体，在白盒和黑盒对抗攻击下进行了全面评估，采用MS-COCO和KITTI数据集覆盖通用场景和自动驾驶场景。我们将著名的白盒攻击方法（FGSM、PGD和CW）扩展到评估DETR的脆弱性，表明DETR模型在抗性类似于传统基于CNN的检测器。我们的广泛迁移性分析揭示了DETR变体之间存在高度的网络内部迁移性，但对CNN模型的跨网络迁移性有限。此外，我们提出了一种针对DETR的新型非定向攻击，利用其中间损失函数以最小扰动诱导误分类。对自注意力特征图的可视化提供了对抗攻击如何影响DETR模型内部表征的见解。这些发现揭示了在标准对抗攻击下，检测变换器在安全关键应用中存在关键漏洞，强调了未来研究需要提高基于变换器的对象检测器鲁棒性的必要性。
引用
@article{arxiv.2412.18718,
title = {Evaluating the Adversarial Robustness of Detection Transformers},
author = {Amirhossein Nazeri and Chunheng Zhao and Pierluigi Pisu},
journal= {arXiv preprint arXiv:2412.18718},
year = {2024}
}