一次中毒，全局控制：干净文本的视觉后门攻击于 VLM 驱动的移动智能体
密码学与安全
2025-09-08 v6 人工智能
摘要
由视觉语言模型 (VLM) 驱动的移动智能体日益被用于 UI 自动化和基于摄像头的协助等任务。这些智能体通常使用小规模用户收集的数据进行微调，因而易受到隐蔽的训练时威胁。本工作引入 VIBMA，即首个针对 VLM 驱动的移动智能体的干净文本后门攻击。该攻击通过仅修改视觉输入来注入恶意行为，同时保留文本提示和指令，通过完全不存在的文本异常实现隐蔽性。一旦智能体在此受感染的数据上进行微调，推理时在输入中添加预定义的视觉模式 (trigger) 即可激活攻击者指定的行为 (后门)。我们的攻击将受感染样本的训练梯度与攻击者指定的目标实例的梯度对齐，有效地将后门特定特征嵌入受感染数据中。为确保攻击的鲁棒性和隐蔽性，我们设计了三种 trigger 变体以更贴近现实场景：静态贴图、动态运动模式和低不透明度混合内容。在六个 Android 应用程序和三个兼容移动端的 VLM 上进行的大量实验表明，攻击在保持干净任务行为 (FSR 最高达 95.85%) 的同时实现高成功率 (ASR 最高达 94.67%)。我们进一步进行消融研究以理解关键设计因素如何影响攻击可靠性和隐蔽性。这些发现首次揭示了移动智能体的安全漏洞及其对后门注入的易受性，凸显了在移动智能体适应管道中需要具备鲁棒防御的必要性。
引用
@article{arxiv.2506.13205,
title = {Poison Once, Control Anywhere: Clean-Text Visual Backdoors in VLM-based Mobile Agents},
author = {Xuan Wang and Siyuan Liang and Zhe Liu and Yi Yu and Aishan Liu and Yuliang Lu and Xitong Gao and Ee-Chien Chang},
journal= {arXiv preprint arXiv:2506.13205},
year = {2025}
}
备注
10 pages