超越外观：诊断与改进基于指针式测量读数的状态一致性
计算机视觉与模式识别
2026-04-30 v1
摘要
多模态大语言模型 (MLLM) 在一般多模态任务上取得了显著进展，但在基于指针式测量读数方面仍显脆弱。本文通过受控基准和特征空间探测研究了这一问题，表明当前 MLLM 不仅在指针式读数方面准确率不高，还会在视角和照明变化下表现急剧下降，即使底层指针状态保持不变。我们的探测分析进一步表明，受外观变化影响的相同状态样本在聚类上不一致，而相邻状态则未能保留由连续指针值暗示的局部结构。这些发现表明，现有的 MLLM 很大程度上忽略了指针测量任务中固有的状态几何，而依赖表面外观线索。受此诊断启发，我们提出了 TriSCA 一个用于指针式测量读数的三层状态一致对齐框架。具体而言，TriSCA 包括状态距离感知的表示对齐、基于元数据的观察-状态监督以及状态感知的目标对齐。广泛的消融研究和控制时钟和量表基准，加上对外部真实世界基准的评估，都表明我们的方法有效。
引用
@article{arxiv.2604.26614,
title = {State Beyond Appearance: Diagnosing and Improving State Consistency in Dial-Based Measurement Reading},
author = {Yuanze Hu and Gen Li and Yuqin Lan and Qingchen Yu and Zhichao Yang and Junwei Jing and Zhaoxin Fan and Xiaotie Deng},
journal= {arXiv preprint arXiv:2604.26614},
year = {2026}
}