感知测试时间尺度:解决图像中的 grounding 矛盾
计算机视觉与模式识别
2026-04-14 v1
摘要
最近的多模态大语言模型(MLLM)开始通过调用如缩放和裁剪等视觉工具来支持图像思考推理。然而,这些系统在细粒度视觉推理方面仍脆弱,因为它们必须在获得正确决策所需证据之前决定该关注何处。我们将这种循环依赖识别为 grounding 矛盾。为此,我们提出感知测试时间尺度(TTSP)框架,将感知本身视为可扩展的推理过程。TTSP 生成多个探索性感知轨迹,使用熵基置信度估计过滤不可靠轨迹,将验证后的观察提炼为结构化知识,并迭代地引导后续探索以解决未解决的不确定性。在高分辨率和通用多模态推理基准上进行大量实验,表明 TTSP 在不同骨干网络规模下均显著优于强大基线,同时表现出良好的可扩展性和 token 效率。我们的结果表明,在感知不确定性下通过测试时间扩展感知是稳健多模态推理的有前景的方向。
引用
@article{arxiv.2604.11025,
title = {Test-time Scaling over Perception: Resolving the Grounding Paradox in Thinking with Images},
author = {Zheng Jiang and Yiming Chen and Nan He and Jiahui Chen and Chaoyang Li and Houde Qian and Lifeng Sun},
journal= {arXiv preprint arXiv:2604.11025},
year = {2026}
}