针对 end-to-end 自动驾驶的对抗流匹配
计算机视觉与模式识别
2026-05-05 v1 人工智能
摘要
自动驾驶（AD）正向单阶段（E2E）框架演进，主要包含两大范式：以 Vision-Language-Action（VLA）为代表的单体模型，以及特定模块化架构。尽管二者设计初衷不同，但均越来越依赖 Transformer 主干进行复杂推理，潜在存在共享漏洞：视觉上不可察觉的扰动可针对 Transformer 模块操控 E2E AD 模型，导致危险驾驶行为。现有对抗攻击方法多基于白盒或黑盒假设，却需获取完整模型透明度，或因查询延迟高昂或攻击迁移性有限而受限。本文提出 Adversarial Flow Matching（AFM），一种新型灰盒攻击框架，揭示 E2E AD 模型中 Transformer 结构漏洞。AFM 通过神经平均速度场实现高效单步生成对抗样本。此外，所提技术通过协同扰动生成式潜在空间与神经平均速度场，实现有效且视觉上不可察觉的攻击。广泛实验表明，AFM 在攻击效果与不可察觉性之间实现卓越平衡：相较于基线方法，显著降低了 VLA 和模块化 AD 代理在各种场景下的性能，同时保持最先进的视觉不可察觉性。Furthermore，AFM 生成的对抗样本展现出强大的跨模型迁移性，表明 AFM 接近黑盒攻击设置，却仅需目标 AD 模型包含 Transformer 模块的先验知识。
引用
@article{arxiv.2605.00880,
title = {Adversarial Flow Matching for Imperceptible Attacks on End-to-End Autonomous Driving},
author = {Xinyu Zeng and Xiangkun He and Lei Tao and Chen Lv and Hong Cheng},
journal= {arXiv preprint arXiv:2605.00880},
year = {2026}
}
备注
16 pages, 11 figures