NICE FACT: 诊断和校准在定性运动物理学中的视觉语言模型
计算机视觉与模式识别
2026-05-12 v1
摘要
从精确的空间和物理见解出发，视觉语言模型(VV)的能力是其核心能力之一，但其在相关空间智能任务（如物理推理）中的表现仍是根本性障碍。社区严重缺乏对VLMs是否忠实到达答案或仅作出合理猜测的科学分析。本工作旨在提供对VLMs如何感知物理世界、如何运用物理法则的基本理解，并评估模型置信度的可靠性。我们提出了NICE和FACT，一种用于分解定性运动物理学的双诊断范式：FACT诊断视觉保真度、物理法则理解和时间定位；NICE研究我们新颖的基于邻域的校准方法和新指标，以评估和校准置信度可靠性。在6个最新主流VLMs上进行评估，我们发现模型未能识别视觉前提条件或运用必要的物理法则以得出答案。本工作突出了并建立了标准化诊断范式，以指导开发可信赖、以物理为基础的VLMs的发展。
引用
@article{arxiv.2605.08452,
title = {NICE FACT: Diagnosing and Calibrating VLMs in Quantitative Reasoning for Kinematic Physics},
author = {Jian Lan and Zhicheng Liu and Xinpeng Wang and Yuhao Zhou and Haokun Chen and Jiancheng Lv and Barbara Plank and Thomas Seidl},
journal= {arXiv preprint arXiv:2605.08452},
year = {2026}
}