Zoom in, Click out: 解锁GUI基准的潜力并进行评估
计算机视觉与模式识别
2025-12-08 v1 人工智能
计算与语言
摘要
基准是构建图形用户界面(GUI)智能体的基本能力。尽管现有方法依赖大规模的边界框监督，但仍面临跨平台泛化、复杂布局分析和细粒度元素定位等各种挑战。本文我们考察将缩放作为GUI基准的强大且鲜有人探索的先验，提出一种无训练的方法ZoomClick。通过刻画缩放的四个关键属性(即预缩放、深度、缩小尺寸、最小裁剪尺寸)，我们解锁了其在动态空间聚焦和自适应上下文切换方面的全部潜力。实验表明，我们的方法显著提升了通用视觉语言和专门的GUI基准模型性能，在几个主流基准上实现了最先进的结果;例如，UI-Venus-72B在ScreenSpot-Pro上达到了73.1%的成功率。此外，我们呈现了GUIZoom-Bench，这是一个用于评估模型对缩放适应性的基准，旨�激励未来研究在GUI基准任务中改进缩放以进行进一步的训练和测试时扩展。
引用
@article{arxiv.2512.05941,
title = {Zoom in, Click out: Unlocking and Evaluating the Potential of Zooming for GUI Grounding},
author = {Zhiyuan Jiang and Shenghao Xie and Wenyi Li and Wenqiang Zu and Peihang Li and Jiahao Qiu and Siqi Pei and Lei Ma and Tiejun Huang and Mengdi Wang and Shilong Liu},
journal= {arXiv preprint arXiv:2512.05941},
year = {2025}
}
备注
Code is available at https://github.com/Princeton-AI2-Lab/ZoomClick