DualTAP：面向移动 MLLM 代理的双任务对抗保护器
密码学与安全
2025-11-18 v1
摘要
移动 GUI 代理对多模态大语言模型（MLLMs）的依赖引入了严重的隐私漏洞：包含可识别个人信息（PII）的截图常被发送给不可信的第三方路由器。这些路由器可利用自身的 MLLM 挖掘此数据，侵犯用户隐私。现有隐私扰动未能解决此场景的关键双重挑战：在保护路由器 MLLM 的 PII 的同时，同时保持代理 MLLM 的任务实用性。为此，我们提出双任务对抗保护器（DualTAP），一个首次显式解耦这些冲突目标的新型框架。DualTAP 使用两种关键创新训练一个轻量级生成器：(i) 对比度注意力模块精准识别并针对仅 PII 敏感区域；(ii) 双任务对抗目标同时最小化任务保持损失（以维持代理实用性）和隐私干扰损失（以抑制 PII 漏洞）。为促进此项研究，我们引入PrivScreen，一个新型的移动屏幕数据集，专为双任务评估而设计。在六个多样化 MLLM（如 GPT-5）上的全面实验表明，DualTAP 实现了最先进的保护效果。它将平均隐私泄漏率降低 31.6 个百分点（相当于 3.0 倍的相对改进），同时保持 80.8% 的任务成功率——与 83.6% 的未受保护基线之间仅有微小下降。DualTAP 提出了移动 MLLM 代理隐私-实用性权衡的首个可行解决方案。
引用
@article{arxiv.2511.13248,
title = {DualTAP: A Dual-Task Adversarial Protector for Mobile MLLM Agents},
author = {Fuyao Zhang and Jiaming Zhang and Che Wang and Xiongtao Sun and Yurong Hao and Guowei Guan and Wenjie Li and Longtao Huang and Wei Yang Bryan Lim},
journal= {arXiv preprint arXiv:2511.13248},
year = {2025}
}