GUI 基准模型在图像攻击下的鲁棒性
计算机视觉与模式识别
2025-04-08 v1
摘要
图形用户界面（GUI）基准模型对于使智能代理能够理解和与复杂视觉界面交互至关重要。然而，这些模型在现实场景下面临显著的鲁棒性挑战，由于自然噪声和对抗性扰动，而其鲁棒性仍受到不足的探索。在本研究中，我们系统评估了最先进的 GUI 基准模型（如 UGround）在三种条件下的鲁棒性：自然噪声、非针对性对抗攻击和针对性对抗攻击。我们的实验是在包括移动、桌面和网页界面在内的广泛 GUI 环境中进行的，结果清晰地表明 GUI 基准模型对对抗性扰动和低分辨率条件表现出高度敏感性。这些发现为理解 GUI 基准模型的漏洞提供了宝贵的见解，并为未来旨在增强其实际应用鲁棒性的研究建立了强大的基准。我们的代码已公开于 https://github.com/ZZZhr-1/Robust_GUI_Grounding
引用
@article{arxiv.2504.04716,
title = {On the Robustness of GUI Grounding Models Against Image Attacks},
author = {Haoren Zhao and Tianyi Chen and Zhen Wang},
journal= {arXiv preprint arXiv:2504.04716},
year = {2025}
}