自动驾驶中基于实时分割的对抗性补丁跨模型可转移性
计算机视觉与模式识别
2025-02-25 v1 人工智能
摘要
对抗性攻击对深度学习模型构成严重威胁，尤其是在医疗保健和自动驾驶等安全关键应用中。最近，基于补丁的攻击因其 'drag and drop' 特性在实时推断场景中表现出色。紧随其后，我们为语义分割 (SS) 提出一种基于期望转换 (EOT) 的新型对抗性补丁攻击，更贴近自动驾驶车辆的实际需求。为有效训练此攻击，我们还提出一种 '简化' 损失函数，易于分析和实现。以此攻击为基础，我们研究对抗性补丁一旦在特定 SS 模型上优化，是否能欺骗其他模型或体系结构。我们对在 SOTA 卷积神经网络 (CNN) 模型如 PIDNet-S、PIDNet-M 和 PIDNet-L 等上训练的对抗性补丁进行了全面跨模型可转移性分析。此外，我们还包括 Segformer 模型以研究对 Vision Transformer (ViT) 的可转移性。我们的所有分析都在广泛使用的 Cityscapes 数据集上进行。我们的研究揭示了模型体系结构 (CNN vs CNN 或 CNN vs. Transformer) 如何影响攻击灵敏度的关键见解。特别地，我们得出结论，尽管对任何尺寸的未见图像的攻击可转移性（有效性）非常高，但针对特定模型训练的攻击在其他模型上效果最小。对于 ViT 和 CNN 基于模型而言，此现象均成立。此外，我们的结果还表明，对于 CNN 基于模型，补丁攻击的后果是局部的，而对 ViT 则非局部。按类别分析显示，简单类别如 '天空' 的误分类损失较小。项目的代码可在 https://github.com/p-shekhar/adversarial-patch-transferability 获取。
引用
@article{arxiv.2502.16012,
title = {Cross-Model Transferability of Adversarial Patches in Real-time Segmentation for Autonomous Driving},
author = {Prashant Shekhar and Bidur Devkota and Dumindu Samaraweera and Laxima Niure Kandel and Manoj Babu},
journal= {arXiv preprint arXiv:2502.16012},
year = {2025}
}