MatchVIE：利用实体间匹配相关性进行视觉信息抽取
计算机视觉与模式识别
2021-06-25 v1 人工智能
摘要
视觉信息抽取（VIE）任务旨在从各类文档图像（如发票和采购收据）中提取关键信息。以往多数方法将VIE任务简单视为序列标注问题或分类问题，要求模型通过引入字体、颜色、版式等多模态特征来仔细辨识每种语义。但面对数值型语义类别或某些歧义文本时，仅引入多模态特征难以奏效。为解决此问题，本文提出一种基于图神经网络的VIE键值匹配新模型（MatchVIE）。通过基于相关性评估的键值匹配，所提MatchVIE可绕过对各种语义的识别，仅聚焦于实体间的强相关性。此外，我们引入一种简单而有效的操作Num2Vec，以应对编码数值的不稳定性，助模型更平滑收敛。综合实验表明，所提MatchVIE显著优于以往方法。值得注意的是，据我们所知，MatchVIE可能是首次通过建模键与值之间的相关性来处理VIE任务的尝试，是对现有方法的良好补充。
引用
@article{arxiv.2106.12940,
title = {MatchVIE: Exploiting Match Relevancy between Entities for Visual Information Extraction},
author = {Guozhi Tang and Lele Xie and Lianwen Jin and Jiapeng Wang and Jingdong Chen and Zhen Xu and Qianying Wang and Yaqiang Wu and Hui Li},
journal= {arXiv preprint arXiv:2106.12940},
year = {2021}
}
备注
accepted by IJCAI 2021