一种从图中解析文本子句的多模态神经几何求解器
人工智能
2023-05-01 v2 计算机视觉与模式识别
摘要
几何问题求解(GPS)是一种需要多模态融合与几何知识应用能力的高阶数学推理。近来,神经求解器在GPS中展现出巨大潜力,但在图形表示与模态融合方面仍显不足。在本工作中,我们将图形转换为基本的文本子句以有效描述图形特征,并提出了一种称为PGPSNet的新型神经求解器来高效融合多模态信息。结合结构与语义预训练、数据增强和自限制解码,PGPSNet被赋予了丰富的几何定理与几何表示知识,从而提升了几何理解与推理能力。此外,为促进GPS研究,我们构建了一个名为PGPS9K的新型大规模精细标注GPS数据集,标注了细粒度图形注释和可解释的求解程序。在PGPS9K和现有数据集Geometry3K上的实验验证了我们的方法优于最先进的神经求解器。我们的代码、数据集和附录材料可在\url{https://github.com/mingliangzhang2018/PGPS}获取。
引用
@article{arxiv.2302.11097,
title = {A Multi-Modal Neural Geometric Solver with Textual Clauses Parsed from Diagram},
author = {Ming-Liang Zhang and Fei Yin and Cheng-Lin Liu},
journal= {arXiv preprint arXiv:2302.11097},
year = {2023}
}
备注
Accepted to IJCAI 2023