V2P：基于背景抑制和中心聚焦的 GUI 基准可视化注意力校准
摘要
精确定位 GUI 元素是 GUI agent 开发的关键。传统方法依赖边界框或中心点回归，忽略了空间 interaction 不确定性和 visual-semantic 层次结构。最近的方法引入注意力机制，但仍面临两个 key 问题：(1) 忽略处理 background 区域导致注意力从 desired 区域漂移，(2) 统一建模 target UI 元素未能区分其 center 和 edges，导致 click 不精确。受人类视觉处理和交互 GUI 元素的启发，我们提出 Valley-to-Peak (V2P) 方法以解决这些问题。为缓解 background 干扰，V2P 引入 suppression attention mechanism 以最小化模型对不相关区域的关注，从而突出 intended region。对于 center-edge 区分问题，V2P 采用 Fitts' Law 启发的方法，将 GUI interaction 模型为 2D 高斯 heatmap，其中 weight 从 center 逐渐减小到 edges。weight 分布遵循高斯函数，variance 由 target 的 size 决定。因此，V2P 有效隔离 target 区域并教会模型集中于 UI 元素的 most essential point。使用 V2P 训练的模型在两个 benchmark ScreenSpot-v2 和 ScreenSpot-Pro 上取得 92.4% 和 52.5% 的性能。Ablations 进一步确认每个 component 的贡献，彰显了 V2P 在 precise GUI grounding 任务中的 generalizability 以及其在未来 GUI agent 部署中的潜力。
引用
@article{arxiv.2508.13634,
title = {V2P: Visual Attention Calibration for GUI Grounding via Background Suppression and Center Peaking},
author = {Jikai Chen and Long Chen and Dong Wang and Qinglin Su and Zhixuan Chu and Bingguang Hao and Leilei Gan and Chenyi Zhuang and Jinjie Gu},
journal= {arXiv preprint arXiv:2508.13634},
year = {2026}
}