当机器人服从贴纸:面向视觉语言动作模型的通用可迁移攻击
计算机视觉与模式识别
2026-03-11 v3 人工智能
摘要
视觉语言动作(VLA)模型对对抗攻击存在脆弱性,但目前鲜有针对通用且可迁移攻击的系统研究,因为大多数现有贴纸攻击仅针对单个模型,难以在黑箱环境中有效。为填补这一空白,我们系统研究了针对VLA驱动机器人(在未知架构、微调变体及仿真到现实迁移场景下)的通用可迁移对抗性贴纸攻击。我们提出了UPA-RFAS(Universal Patch Attack via Robust Feature, Attention, and Semantics),一个统一框架,通过共享特征空间学习单个物理贴纸,以促进跨模型迁移。UPA-RFAS综合了(i)基于偏差先验和排斥InfoNCE损失的特征空间目标,以诱导可迁移的表示偏移,(ii)鲁棒性增强的两阶段最小最大程序,其中内层循环学习不可见的样本级扰动,外层循环针对该硬化邻域优化通用贴纸,(iii)两个VLA专用损失:Patch Attention Dominance(Patch Attention Dominance)劫持文本到视觉注意力,Patch Semantic Misalignment(Patch Semantic Misalignment)在不使用标签的情况下诱导图像-文本不匹配。跨 diverse VLA 模型、操作套件及物理执行的实验表明,UPA-RFAS 在模型、任务和视角之间始终能够实现有效迁移,暴露了实用的基于贴纸的攻击面,并为未来的防御建立了强大的基准。
引用
@article{arxiv.2511.21192,
title = {When Robots Obey the Patch: Universal Transferable Patch Attacks on Vision-Language-Action Models},
author = {Hui Lu and Yi Yu and Yiming Yang and Chenyu Yi and Qixin Zhang and Bingquan Shen and Alex C. Kot and Xudong Jiang},
journal= {arXiv preprint arXiv:2511.21192},
year = {2026}
}
备注
Accepted by CVPR 2026