图式形式化增强多模态几何问题求解器
计算机视觉与模式识别
2024-09-10 v2
摘要
数学推理始终是AI模型面临的持续挑战，尤其是那些需要语言和视觉信号共同处理的几何问题。由于大多数多模态大语言模型（MLLMs）的视觉编码器是在自然场景上训练的，他们往往难以理解几何图 Diagram，在几何问题解决方面的表现不如仅处理文本的LLMs。这种局限性因缺乏有效的几何关系表示方法而被放大。为此，我们提出了一种名为Diagram Formalization Enhanced Geometry Problem Solver（图式形式化增强几何问题求解器，DFE-GPS）的新框架，将视觉特征、几何形式语言和自然语言表示相结合。我们提出了一种新型合成数据方法，创建了一个大规模几何数据集SynthGeo228K，标注了形式语言和自然语言描述，旨在增强视觉编码器以更好地理解几何结构。我们的框架提高了MLLMs处理几何图 Diagram的能力，并将其应用扩展到formalgeo7k数据集上的开放式任务。
关键词
引用
@article{arxiv.2409.04214,
title = {Diagram Formalization Enhanced Multi-Modal Geometry Problem Solver},
author = {Zeren Zhang and Jo-Ku Cheng and Jingyang Deng and Lu Tian and Jinwen Ma and Ziran Qin and Xiaokai Zhang and Na Zhu and Tuo Leng},
journal= {arXiv preprint arXiv:2409.04214},
year = {2024}
}