UI-Zoomer: 基于不确定性的自适应放大用于 GUI 基准

GUI 基准从给定的自然语言查询中定位界面元素仍具有挑战性, 尤其是小图标和密集布局。测试时放大方法通过裁剪并以更高分辨率重新运行推理来改进局部化, 但对所有实例以固定裁剪大小uniformly 应用裁剪, 忽略模型在每个案例上实际不确定性。我们提出 \textbf{UI-Zoomer}, 一个 training-free 的自适应放大框架, 将放大的触发和规模视为 prediction 不确定性量化问题。一个 confidence-aware 的门融合了随机候选者之间的空间共识与 token 级别生成 confidence, 以在局部化不确定时选择性触发放大。当触发时, 一个基于不确定性的 crop 大小模块将 prediction 方差分解为 inter-sample 位置离散和 intra-sample 盒子范围, 通过 total variance 法则推导出每个实例的 crop 半径。对 ScreenSpot-Pro、UI-Vision 和 ScreenSpot-v2 上的大量实验表明, 在多个模型架构上均一致地优于强基准, 分别实现了最高可达 +13.4%、+10.3% 和 +4.2% 的提升, 且无需额外训练。