LANS:一种面向平面几何问题的布局感知神经求解器
计算机视觉与模式识别
2024-02-21 v2 人工智能
摘要
几何问题求解(Geometry problem solving, GPS)是一项具有挑战性的数学推理任务,需要多模态理解、融合与推理。现有神经求解器将 GPS 视为视觉-语言任务,但在承载丰富且复杂布局信息的几何图形表示方面存在不足。本文提出一种名为 LANS 的布局感知神经求解器,集成了两个新模块:多模态布局感知预训练语言模块(Multimodal Layout-Aware Pre-trained Language Module, MLA-PLM)和布局感知融合注意力(Layout-Aware Fusion Attention, LA-FA)。MLA-PLM 采用结构-语义预训练(Structural-Semantic Pre-training, SSP)实现全局关系建模,并采用点匹配预训练(Point-Match Pre-training, PMP)实现视觉点与文本点之间的对齐。LA-FA 利用布局感知注意力掩码实现点引导的跨模态融合,以进一步增强 LANS 的布局感知能力。在 Geometry3K 和 PGPS9K 数据集上的大量实验验证了布局感知模块的有效性以及我们的 LANS 求解器相对于现有符号与神经求解器的优越解题性能。代码将很快公开。
引用
@article{arxiv.2311.16476,
title = {LANS: A Layout-Aware Neural Solver for Plane Geometry Problem},
author = {Zhong-Zhi Li and Ming-Liang Zhang and Fei Yin and Cheng-Lin Liu},
journal= {arXiv preprint arXiv:2311.16476},
year = {2024}
}