一种用于求解几何问题的符号字符感知模型

AI在求解数学问题上已取得显著进展，但几何问题因其对文本与图形的双重依赖而仍具挑战。在文本描述中，诸如“$\triangle$ABC”之类的符号字符常作为连接相应图形的桥梁。然而，现有工作仅将这些符号字符分词为独立字母（如'A'、'B'和'C'），未能显式研究它们，从而丢失了与图形的语义关联。在本文中，我们开发了一种符号字符感知模型，充分挖掘这些字符在文本与图形理解中的作用，并在多模态推理框架下优化该模型。在文本编码器中，我们提出将独立符号字符与来自相应图形的几何信息合并为一个语义单元。对于图形编码器，我们在以符号字符为标签的多标签分类框架下对其进行预训练。此外，我们在掩码图像建模辅助任务下通过自监督学习方法增强几何图形理解能力。通过将所提模型集成到用于求解几何问题的通用编码器-解码器流程中，我们在GeoQA和Geometry3K两个基准数据集上通过大量实验证明了其优越性。具体而言，在GeoQA上，解题准确率从60.0\%提升至64.1\%，达到了新的SOTA准确率；在Geometry3K上，我们将平均解题步骤从6.9降至6.0，且解题准确率略有提高。