全局结构知识引导的视觉富文档关系抽取方法
计算与语言
2023-10-30 v3 人工智能
摘要
视觉关系抽取（VRE）是一种发现视觉富文档中实体间关系的有力手段。现有方法常侧重于操控实体特征以寻找成对关系，却忽视了将不同实体对联结起来的更基础的结构信息。全局结构信息的缺失可能使模型难以学习长距离关系，并容易预测出相互冲突的结果。为缓解此类局限，我们提出了一种全局结构知识引导的关系抽取（GOSE）框架。GOSE 首先基于从文档扫描图像中提取的实体对生成初步关系预测。随后，从先前的迭代预测中捕获全局结构知识，并将其融入实体的表示中。这一“生成-捕获-融入”循环重复多次，使实体表示与全局结构知识相互增强。大量实验验证，GOSE 不仅在标准微调设定下优于现有方法，还展现出优越的跨语言学习能力；事实上，在低资源设定下甚至产生了更强的数据高效性能。GOSE 的代码将发布于 https://github.com/chenxn2020/GOSE。
引用
@article{arxiv.2305.13850,
title = {Global Structure Knowledge-Guided Relation Extraction Method for Visually-Rich Document},
author = {Xiangnan Chen and Qian Xiao and Juncheng Li and Duo Dong and Jun Lin and Xiaozhong Liu and Siliang Tang},
journal= {arXiv preprint arXiv:2305.13850},
year = {2023}
}
备注
Accepted by EMNLP 2023 (Findings)