面向自动驾驶的视觉语言模型黑箱对抗攻击
计算机视觉与模式识别
2025-01-24 v1 人工智能
摘要
视觉语言模型 (VLMs) 已显著推动了自动驾驶 (AD) 的发展，通过增强推理能力；然而，这些模型对对抗攻击仍高度脆弱。虽然现有研究在某种程度上探索了白箱攻击，但更实用且具挑战性的黑箱场景仍基本未被探讨 due to its inherent difficulty。本文首次针对 AD 中的 VLMs 设计黑箱对抗攻击。我们确定了实现此背景下有效黑箱攻击的两个关键挑战：跨驾驶推理链的有效性以及驾驶情景的动态性。为此，我们提出了级联对抗干扰 (CAD)。它首先引入决策链干扰，针对低层推理破坏生成并注入欺骗语义，确保扰动在整个决策链中保持有效性。基于此，我们提出了危险场景诱导，解决动态适应问题，利用替代 VLMs 来理解和构建高层危险场景，这些场景可能在当前驾驶情境中导致关键错误。在多个 AD VLMs 和基准测试上进行的广泛实验表明，CAD 实现了最先进的攻击效果，平均性能显著优于现有方法（提升 13.43%）。此外，我们通过对由 VLMs 驱动的 AD 车辆进行实际攻击，验证了其实际应用性，其中路线完成率下降 61.11%，且车辆直接碰撞装有对抗贴纸的障碍车。最后，我们发布了 CADA 数据集，包含 18,808 对对抗视觉-问答对，以促进此关键领域的进一步评估和研究。我们的代码和数据集将在论文接受后公开。
引用
@article{arxiv.2501.13563,
title = {Black-Box Adversarial Attack on Vision Language Models for Autonomous Driving},
author = {Lu Wang and Tianyuan Zhang and Yang Qu and Siyuan Liang and Yuwei Chen and Aishan Liu and Xianglong Liu and Dacheng Tao},
journal= {arXiv preprint arXiv:2501.13563},
year = {2025}
}