中文

缩放一致性:多步骤视觉 grounding 流程中的免费置信信号

计算机视觉与模式识别 2026-04-20 v1 人工智能

摘要

多步骤缩放式GUI grounding方法广泛应用,但通常在坐标映射后丢弃中间预测结果。我们观察到,这些中间输出包含一种有用的置信信号:缩放一致性,即模型第二步预测与裁剪中心之间的距离。与对数概率或标记级不确定性不同,缩放一致性是共享坐标空间中的几何量,无需校准即可在不同结构的VLMs之间直接比较。我们在理想条件下证明该量是第二步空间误差的线性估计器,并在两种VLMs(KV-Ground-8B和Qwen3.5-27B)上表明其与预测正确性呈显著相关性(AUC=0.60,对KV-Ground-8B的Spearman rho=-0.14, p<10^{-6};rho=-0.11, p=0.0003)。相关性虽小但稳定,跨模型、应用类别和操作系统均如此。作为验证性应用,我们利用缩放一致性在专家模型与通用模型之间进行路由,捕获了16.5%的oracle headroom(+0.8%,McNemar p=0.19)。代码已公开。

关键词

引用

@article{arxiv.2604.15376,
  title  = {Zoom Consistency: A Free Confidence Signal in Multi-Step Visual Grounding Pipelines},
  author = {Keon Kim and Krish Chelikavada},
  journal= {arXiv preprint arXiv:2604.15376},
  year   = {2026}
}