轻钱，像错：通过视觉对抗扰动绕过多模态代理的价格约束
计算机视觉与模式识别
2026-04-21 v1 密码学与安全
机器学习
摘要
多模态大语言模型（MLLM）的快速普及使移动代理能够执行高风险金融交易，但其对抗鲁棒性仍未得到充分探索。我们发现了视觉支配幻觉（Visual Dominance Hallucination, VDH），即不可察觉的视觉线索可覆盖屏幕截图式、受价格约束设置下的文本价格证据，导致代理作出非理性决策。我们提出了 PriceBlind，一个针对受控屏幕截图式评估的隐蔽白盒对抗攻击框架。PriceBlind 通过语义解耦损失（Semantic-Decoupling Loss）利用 CLIP 基础编码器之间的模态差距，将图像嵌入对齐到低成本、价值关联的锚点，同时保持像素级保真度。在E-ShopBench上，PriceBlind在白盒评估中实现约80%的攻击成功率（ASR）；在简化的单轮坐标选择协议下，Ensemble-DI-FGSM可实现约35-41%的ASR，跨GPT-4o、Gemini-1.5-Pro和Claude-3.5-Sonnet。我们还表明，鲁棒编码器和Verify-then-Act防御机制可显著降低ASR，但需牺牲部分干净精度。
引用
@article{arxiv.2604.16515,
title = {Penny Wise, Pixel Foolish: Bypassing Price Constraints in Multimodal Agents via Visual Adversarial Perturbations},
author = {Jiachen Qian and Zhaolu Kang},
journal= {arXiv preprint arXiv:2604.16515},
year = {2026}
}
备注
15 pages, 4 figures, 13 tables