面向视觉语言-动作模型的注意力引导稀疏对抗攻击
计算机视觉与模式识别
2025-11-27 v1 人工智能
摘要
近年来，视觉语言-动作 (VLA) 模型在具身智能领域取得了快速发展。然而，现有对抗攻击方法需要高昂的端到端训练成本，常常生成显眼的扰动区域。为此，我们提出 ADVLA 框架，直接在视觉编码器投影到文本特征空间中的特征上施加对抗扰动。ADVLA 在低幅值约束下有效干扰下游动作预测，注意力引导使扰动聚焦且稀疏。我们引入三个策略以提升灵敏度、强制稀疏化，并集中扰动。实验表明，在 约束下，ADVLA 结合 Top-K 掩码仅修改约 10% 的区域，即可实现接近 100% 的攻击成功率。扰动集中于关键区域，整体图像中几乎不可见，单次迭代仅需约 0.06 秒，显著优于传统基于区域的攻击方法。总之，ADVLA 在低幅值和局部稀疏条件下有效削弱了 VLA 模型的下游动作预测，避免了传统区域攻击的高训练成本和显眼扰动，展现出独特的有效性和实际价值，适用于攻击 VLA 特征空间。
引用
@article{arxiv.2511.21663,
title = {Attention-Guided Patch-Wise Sparse Adversarial Attacks on Vision-Language-Action Models},
author = {Naifu Zhang and Wei Tao and Xi Xiao and Qianpu Sun and Yuxin Zheng and Wentao Mo and Peiqiang Wang and Nan Zhang},
journal= {arXiv preprint arXiv:2511.21663},
year = {2025}
}