面向文档组合信息提取的轻量级空间建模
计算与语言
2024-05-14 v1 人工智能
摘要
由多样化模板构成并呈现复杂空间结构的文档，给文档实体分类带来了挑战。我们提出了KNN-former，该方法基于文档实体的K近邻（KNN）图，在注意力计算中引入了一种新型的空间偏置。我们将实体的注意力限制在其由KNN图定义的局部半径内。我们还使用组合匹配来解决许多文档中存在的一对一映射特性，即一个字段仅对应一个实体。此外，与现有方法相比，我们的方法在可训练参数数量方面具有很高的参数效率。尽管如此，跨多个数据集的实验表明，我们的方法在大多数实体类型上优于基线模型。许多真实世界的文档表现出组合特性，这些特性可以作为归纳偏置来提高提取准确性，但现有数据集并未覆盖这些文档。为了促进未来对这些类型文档的研究，我们发布了一个涵盖多种模板和语言的新身份证件数据集。我们还为现有数据集发布了增强的标注。
引用
@article{arxiv.2405.06701,
title = {Lightweight Spatial Modeling for Combinatorial Information Extraction From Documents},
author = {Yanfei Dong and Lambert Deng and Jiazheng Zhang and Xiaodong Yu and Ting Lin and Francesco Gelli and Soujanya Poria and Wee Sun Lee},
journal= {arXiv preprint arXiv:2405.06701},
year = {2024}
}