Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving
计算机视觉与模式识别
2025-05-13 v1 人工智能
摘要
视觉语言模型 (VLM) 已集成到自动驾驶系统中，通过视觉问答 (VQA) 等任务提升推理能力。然而，这些系统针对后门攻击的鲁棒性尚未充分探讨。本文提出一种针对自动驾驶场景中 VLM 系统的自然反射型后门攻击，旨在引发特定视觉触发器出现的显著响应延迟。我们在 DriveLM 数据集中嵌入模仿玻璃或水等自然表面的淡淡反射图案，同时在对应文本标签前添加 lengthy irrelevant 前缀（如虚构故事或系统更新通知）。此策略训练模型在遇到触发器时生成异常长的响应。我们采用参数高效方法对两种最先进的 VLM（Qwen2-VL 和 LLaMA-Adapter）进行微调。实验结果表明，模型在干净输入上保持正常性能，但在触发后推理延迟显著增加，可能导致实际自动驾驶决策中的危险延迟。进一步分析考察了投毒率、摄像机视角及跨视图可迁移性等因素。我们的发现揭示了一类新型攻击，利用自动驾驶的严格实时性要求，对 VLM 增强型驾驶系统的安全性和可靠性构成严重挑战。
引用
@article{arxiv.2505.06413,
title = {Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving},
author = {Ming Liu and Siyuan Liang and Koushik Howlader and Liwen Wang and Dacheng Tao and Wensheng Zhang},
journal= {arXiv preprint arXiv:2505.06413},
year = {2025}
}