PPN：面向复杂版面的基于并行指针网络的关键信息抽取
人工智能
2023-07-21 v1
摘要
关键信息抽取（KIE）是一项具有挑战性的多模态任务，旨在从视觉丰富的文档中提取结构化的语义实体值。尽管已取得显著进展，仍存在两个主要挑战有待解决。首先，现有数据集的版面相对固定且语义实体类别数量有限，导致这些数据集与复杂的真实场景之间存在显著差距。其次，现有方法遵循两阶段流水线策略，可能导致错误传播问题。此外，它们难以应用于出现未见语义实体类别的场景。针对第一个挑战，我们提出了一个名为复杂版面关键信息抽取（CLEX）的新大规模人工标注数据集，包含 5,860 张图像和 1,162 个语义实体类别。为解决第二个挑战，我们引入了基于并行指针网络（PPN），这是一种可应用于零样本和少样本场景的端到端模型。PPN 利用语义实体间的隐式线索辅助抽取，其并行抽取机制使其能够同时高效地提取多个结果。在 CLEX 数据集上的实验表明，PPN 优于现有最先进（SOTA）方法，同时提供了更快的推理速度。
引用
@article{arxiv.2307.10551,
title = {PPN: Parallel Pointer-based Network for Key Information Extraction with Complex Layouts},
author = {Kaiwen Wei and Jie Yao and Jingyuan Zhang and Yangyang Kang and Fubang Zhao and Yating Zhang and Changlong Sun and Xin Jin and Xin Zhang},
journal= {arXiv preprint arXiv:2307.10551},
year = {2023}
}