NeSyGeo:面向多模态几何推理数据生成的神经符号框架
计算与语言
2025-10-06 v2 人工智能
摘要
获取大规模高质量的推理数据对于提高多模态大语言模型 (MLLM) 的几何推理能力至关重要。然而,现有基于预定义模板或受限符号证明器的数据生成方法不可避免地面临多样性和数值泛化限制。为此,我们提出 NeSyGeo,一个用于生成几何推理数据的新型神经符号框架。首先,我们提出一种基于实体-属性-关系范式的领域特定语言,全面代表平面几何的所有组成部分,同时定义于该符号空间内的生成动作。我们 then 设计了一个符号-视觉-文本管道,将符号序列映射到视觉和文本表示,并通过逆向搜索和正向验证生成推理路径。基于此框架,我们构建了 NeSyGeo-CoT 和 NeSyGeo-Caption 数据集,包含 10 万样本,并发布了一个新的基准 NeSyGeo-Test,用于评估 MLLM 的几何推理能力。实验表明,该方案在强化学习和监督式微调下均能显著且一致地提升多种 MLLM 的性能。仅通过 4000 样本和两个 epoch 的强化微调,基础模型在 MathVision 上的提升可达 +15.8%,在 MathVerse 上的提升为 +8.4%,在 GeoQA 上的提升为 +7.3%。值得注意的是,一个 4B 参数的模型可提升至超过同系列 8B 参数模型在几何推理任务中的表现。
引用
@article{arxiv.2505.17121,
title = {NeSyGeo: A Neuro-Symbolic Framework for Multimodal Geometric Reasoning Data Generation},
author = {Weiming Wu and Jin Ye and Zi-kang Wang and Zhi Zhou and Yu-Feng Li and Lan-Zhe Guo},
journal= {arXiv preprint arXiv:2505.17121},
year = {2025}
}
备注
29 pages