DynaSolidGeo：面向视觉语言模型真实空间数学推理的动态基准
人工智能
2025-11-12 v2 计算与语言
计算机视觉与模式识别
机器学习
摘要
实体几何问题求解要求实现空间数学推理，这需要将空间智能与符号推理相结合。然而，现有大多数多模态数学推理基准主要聚焦于二维平面几何，依赖静态数据集，易受数据污染和记忆化现象影响，且仅通过最终答案进行评估，忽略了推理过程。为此，我们引入 DynaSolidGeo，首个面向视觉语言模型（VLM）真正空间推理的动态基准测试。通过半自动标注流程构建，DynaSolidGeo包含503个专家精选种子问题，理论上可动态生成无限多样的多模态文本-图像实例。除答案准确性外，我们还融入基于专家标注推理链的过程评估，以衡量逻辑有效性和因果连贯性。跨代表性开源与闭源 VLM 进行实验，揭示了显著的性能差距，在动态环境下表现严重下降，以及在需高级空间智能的任务（如心理旋转和可视化）上的表现不佳。该项目代码与数据集已于 \href{https://zgca-ai4edu.github.io/DynaSolidGeo/}{DynaSolidGeo} 提供。
引用
@article{arxiv.2510.22340,
title = {DynaSolidGeo: A Dynamic Benchmark for Genuine Spatial Mathematical Reasoning of VLMs in Solid Geometry},
author = {Changti Wu and Shijie Lian and Zihao Liu and Lei Zhang and Laurence Tianruo Yang and Kai Chen},
journal= {arXiv preprint arXiv:2510.22340},
year = {2025}
}
备注
The code and dataset are available at \href{https://zgca-ai4edu.github.io/DynaSolidGeo/}{DynaSolidGeo}