VertiCue-Bench：诊断 MLLMs 是否利用高度线索解决 2D 遥感自然场景中的歧义
计算机视觉与模式识别
2026-05-26 v1 多媒体
摘要
多模态大语言模型 (MLLM) 最近在地理空间推理方面展现出前景。然而，现有的遥感基准主要仍是 2D 导向的，主要评估模型在光学外观上的表现。在自然环境中，这一范式会因严重的光谱混淆而失效：生态学上不同的区域共享相似的纹理，但在垂直结构上存在根本差异。在这种情况下，显式的 3D 结构数据，如树冠高度模型 (CHM)，成为语义消歧的关键几何证据。然而，当前 MLLM 是否能够真正利用垂直线索来解决外观层面的歧义，尚不明朗。为此，我们引入 VertiCue-Bench，这是第一个以 CHM 为基础的地理空间推理诊断基准。VertiCue-Bench 包含 1,534 个精心挑选的实例，覆盖 17 个任务，显式地将低层高度感知与歧义感知语义推理分离。对 14 个最先进的通用和遥感专用 MLLM进行评估，结合反事实模态测试，揭示出惊人的感知-推理解耦现象。虽然模型在读取原始 CHM 高度线索方面展现出新兴能力，但在将几何感知转化为可靠语义推理方面大多失败，往往在联合约束下表现不如仅使用 RGB 的基线。总体而言，VertiCue-Bench 揭示了自然场景理解中从几何到语义的关键几何-语义鸿沟，为推动地理空间 MLLM 提供了可操作的见解。
引用
@article{arxiv.2605.25784,
title = {VertiCue-Bench: Diagnosing Whether MLLMs Use Height Cues to Resolve 2D Ambiguity in Remote Sensing Natural Scenes},
author = {Jing Huang and Duanchu Wang and Junjie Yang and Zihang Cheng and Cheng Li and Lin Cui and Zhouyi Wu and Di Wang},
journal= {arXiv preprint arXiv:2605.25784},
year = {2026}
}