面向表单理解的语言无关神经符号语义解析
计算与语言
2023-05-09 v1 人工智能
摘要
近期关于表单理解的研究大多采用多模态 transformer 或大规模预训练语言模型。这些模型需要大量数据进行预训练。相比之下，人类通常仅通过查看版式就能从表单中识别键值对，即便他们并不理解所用语言。此前尚无研究探讨仅利用版式信息对表单理解有多大帮助。因此，我们提出了一种针对扫描表单的独特实体-关系图解析方法，称为 LAGNN，一种语言无关的图神经网络模型。我们的模型将表单解析为词-关系图，以联合识别实体与关系并降低推理的时间复杂度。随后该图通过确定性规则转换为完全连通的实体-关系图。我们的模型仅考虑来自版式信息的边界框之间的相对间距，以便于跨语言轻松迁移。为了进一步提升 LAGNN 的性能，并实现实体-关系图与词-关系图之间的同构，我们采用基于整数线性规划（ILP）的推理。代码已公开于 https://github.com/Bhanu068/LAGNN
引用
@article{arxiv.2305.04460,
title = {Language Independent Neuro-Symbolic Semantic Parsing for Form Understanding},
author = {Bhanu Prakash Voutharoja and Lizhen Qu and Fatemeh Shiri},
journal= {arXiv preprint arXiv:2305.04460},
year = {2023}
}
备注
Accepted to ICDAR 2023