NutVLM：针对自动驾驶中视觉语言模型的全维度攻击自适应防御框架
计算机视觉与模式识别
2026-03-19 v2 图像与视频处理
摘要
视觉语言模型（VLM）已推动自动驾驶（AD）中的感知能力，但仍面临对抗威胁的脆弱性。这些风险涵盖从局部物理贴纸到难以察觉的全局扰动。现有 VLM 防御方法受限较大，往往难以在鲁棒性与干净样本性能之间取得平衡。为弥合这一鸿沟，本文提出 NutVLM，一个为保障感知-决策整个生命周期安全而设计的综合自适应防御框架。具体而言，首先采用 NutNet++ 作为哨兵——一种统一的检测-净化机制，通过三向分类识别良性样本、局部贴纸与全局扰动。随后，针对局部威胁采用高效灰度掩码进行净化；而全局扰动则触发 Expert-guided Adversarial Prompt Tuning（EAPT）。不同于全模型微调的高昂计算成本，EAPT 通过梯度导向的潜在优化与离散投影生成“纠正驾驶提示”，无需 exhaustive full-model retraining，即可将 VLM 注意力重新聚焦于正确路径。评估于 Dolphins 数据集，NutVLM 在整体指标（如 Accuracy、Language Score、GPT Score）上提升 4.89%。这些结果验证了 NutVLM 作为智能交通系统可扩展安全解决方案。我们的代码已公开于 https://github.com/PXX/NutVLM。
引用
@article{arxiv.2602.13293,
title = {NutVLM: A Self-Adaptive Defense Framework against Full-Dimension Attacks for Vision Language Models in Autonomous Driving},
author = {Xiaoxu Peng and Dong Zhou and Jianwen Zhang and Guanghui Sun and Anh Tu Ngo and Anupam Chattopadhyay},
journal= {arXiv preprint arXiv:2602.13293},
year = {2026}
}
备注
12 pages, 6 figures