GeoChain：用于地理推理的多模态思维链
人工智能
2025-09-10 v3 计算机视觉与模式识别
机器学习
摘要
本文介绍了 GeoChain，这是一个用于评估多模态大型语言模型（MLLMs）中逐步地理推理能力的大规模基准测试。利用 146 万张 Mapillary 街景图像，GeoChain 为每张图像配对一个 21 步的思维链（CoT）问题序列（超过 3000 万个问答对）。这些序列引导模型从粗略属性过渡到细粒度定位，涵盖四个推理类别——视觉、空间、文化和精确定位——并按难度进行标注。图像还通过语义分割（150 个类别）和视觉可定位性评分进行了丰富。我们在包含 2,088 张图像的多样化子集上对当代 MLLMs（GPT-4.1 变体、Claude 3.7、Gemini 2.5 变体）进行的基准测试揭示了一致的挑战：模型经常在视觉基础方面表现出弱点，显示出不稳定的推理，并且难以实现准确的定位，尤其是随着推理复杂度的增加。GeoChain 提供了一种稳健的诊断方法，这对于促进 MLLMs 在复杂地理推理方面的重大进步至关重要。
引用
@article{arxiv.2506.00785,
title = {GeoChain: Multimodal Chain-of-Thought for Geographic Reasoning},
author = {Sahiti Yerramilli and Nilay Pande and Rynaa Grover and Jayant Sravan Tamarapalli},
journal= {arXiv preprint arXiv:2506.00785},
year = {2025}
}