缓解位置编码失效导致的坐标预测偏差
计算机视觉与模式识别
2026-04-29 v2 人工智能
计算与语言
摘要
虽然多模态大语言模型在一般视觉语言任务中表现出色，但精确的坐标预测仍然是一个显著的挑战，尤其是当高分辨率输入导致视觉位置编码（VPE） degradation 时。我们证明，这些编码失效并不会导致随机噪声，而是触发可预测的、有方向性的偏差，这表明模型在 grounding 信号较弱时会默认使用内部空间先验。为抵消这一现象，我们引入了视觉-PE洗牌指导（VPSG），这是一种训练-free、推理时的纠偏方法。VPSG通过洗牌VPE来隔离位置无条件的倾向，并利用这种负证据通过轻量级有限状态机来引导数字解码。针对ScreenSpot-Pro基准进行评估后表明，VPSG有效纠正了坐标漂移，在各种模型规模下均能实现本地化精度的一致性提升，且无需任何重新训练。我们的代码已公开于https://github.com/taoxj2001/VPSG。
引用
@article{arxiv.2510.22102,
title = {Mitigating Coordinate Prediction Bias from Positional Encoding Failures},
author = {Xingjian Tao and Yiwei Wang and Yujun Cai and Yihong Luo and Kai Han and Jing Tang},
journal= {arXiv preprint arXiv:2510.22102},
year = {2026}
}