CapGeo：一种标题辅助的几何推理方法
计算机视觉与模式识别
2025-10-13 v1 人工智能
计算与语言
摘要
几何推理仍是多模态大语言模型（MLLMs）的核心挑战。即使是最先进的闭源系统，如 GPT-O3 和 Gemini-2.5-Pro，在解决几何问题时仍表现不稳定，尽管它们在国际数学奥林匹克（IMO）等任务上展现出强大的文本推理能力。这一差距表明，瓶颈在于理解几何图图而非推理本身。由于几何图形往往可以用简洁的文本描述准确地表达，将视觉内容转换为标题（caption）是一个有前景的方向。基于这一洞见，我们引入 CapGeo，一种标题辅助推理框架，以桥接视觉模态与文本模态。实验表明，随着模型配备标题，性能提升显著：Qwen2.5-VL-72B 从 8.6% 提升至 59.0%，而 Claude-Opus-4 从 44.8% 提升至 73.0%。为系统评估并识别高质量几何标题模型，我们进一步提出 CapGeo-Bench，该数据集包含 4,641 个精选图-标题对。关键在于，CapGeo-Bench 包含一种基于关键点的评估指标，其与下游 CapGeo 性能高度相关，能够可靠地评估几何标题能力。我们框架和基准的推出，凸显了推进 MLLMs 几何推理的新路径。
引用
@article{arxiv.2510.09302,
title = {CapGeo: A Caption-Assisted Approach to Geometric Reasoning},
author = {Yuying Li and Siyi Qian and Hao Liang and Leqi Zheng and Ruichuan An and Yongzhen Guo and Wentao Zhang},
journal= {arXiv preprint arXiv:2510.09302},
year = {2025}
}
备注
preprint, under review