面向自动驾驶中的视觉-大语言模型的可迁移攻击：基于字体学的探索

视觉-大语言模型（Vision-LLMs）正在被集成到自动驾驶（AD）系统中，旨在利用其先进的视觉-语言推理能力，针对感知、预测、规划和控制机制。然而，视觉-LLMs 显示出对各种类型对抗性攻击的脆弱性，这会损害其可靠性和安全性。为进一步探索AD系统中的风险以及实际威胁的可迁移性，本文提出利用字体攻击针对依赖视觉-LLMs决策能力的AD系统。与现有少数工作开发通用字体攻击数据集不同，本文聚焦于这些攻击可部署的现实交通场景、其对决策自主性的潜在影响，以及在实际中呈现这些攻击的实际方式。为实现上述目标，本文首先提出一种数据集无关的框架，用于自动生成可误导视觉-LLMs推理的虚假答案。随后，我们提出一种语言增强方案，便于在图像级别和区域级别进行推理，并将其扩展到针对多个推理任务的攻击模式。基于此，我们在物理交通场景中研究了这些攻击的实现方式。通过实证研究，我们评估了字体攻击在交通场景中的有效性、可迁移性和可实现性。我们的发现表明，字体攻击对现有的视觉-LLMs（如 LLaVA、Qwen-VL、VILA 和 Imp）具有特别大的危害，从而提升了社区对将此类模型集成到AD系统中的漏洞的 awareness。我们将在接受后公开源代码。