GeoContrastNet: 用于语言无关文档理解的对比键值边缘学习
计算机视觉与模式识别
2024-05-07 v1
摘要
本文提出了GeoContrastNet，一个语言无关的结构化文档理解(DU)框架，通过将对比学习目标与图注意力网络(GAT)相结合，强调了几何特征的重要作用。我们提出了一种新颖的方法，将几何边缘特征与视觉特征结合在一个整体的两阶段GAT框架中，在链接预测和语义实体识别性能上均显示出有希望的结果。我们的发现表明，结合几何和视觉特征可以在性能准确性和效率上匹配那些严重依赖光学字符识别(OCR)特征的大型DU模型的能力。这种方法强调了页面半结构化布局中命名文本实体之间关系布局信息的关键重要性。具体来说，我们的结果突出了模型在FUNSD数据集上识别表单中键值关系的能力，以及在RVLCDIP商业发票中发现表格结构布局中空间关系的能力。我们的代码和预训练模型将在我们的官方GitHub上提供。
引用
@article{arxiv.2405.03104,
title = {GeoContrastNet: Contrastive Key-Value Edge Learning for Language-Agnostic Document Understanding},
author = {Nil Biescas and Carlos Boned and Josep Lladós and Sanket Biswas},
journal= {arXiv preprint arXiv:2405.03104},
year = {2024}
}
备注
Accepted in ICDAR 2024 (Athens, Greece)