XFormParser：一种简单有效的多模态多语言半结构化表单解析器
计算与语言
2024-12-19 v2
摘要
在文档 AI 领域，解析半结构化图像表单是一项关键的键信息提取 (KIE) 任务。预训练多模态模型的出现显著增强了文档 AI 框架从不同格式（如 PDF、Word 和图像）的表单文档中提取关键信息的能力。尽管如此，表单解析仍然面临显著的挑战，例如多语言解析能力不足以及工业场景下富文本和富视觉中的召回率降低。在这项工作中，我们引入了一种简单但有效的多模态多语言半结构化表单解析器 (XFormParser)，它以基于 Transformer 的综合预训练语言模型为基础，并创新地将语义实体识别 (SER) 和关系抽取 (RE) 融合到一个统一框架中。结合 Bi-LSTM，多语言解析的性能得到了显著提升。此外，我们开发了 InDFormSFT，这是一个开创性的监督微调 (SFT) 工业数据集，专门针对各种工业场景下表单的解析需求。XFormParser 通过在既有基准上的严格测试展示了其无与伦比的有效性和鲁棒性。与现有的最先进 (SOTA) 模型相比，XFormParser 在特定语言设置的 RE 任务上实现了高达 1.79% 的 F1 分数提升。它还在多语言和零样本设置中展现出卓越的跨任务性能提升。代码、数据集和预训练模型已在 https://github.com/zhbuaa0/xformparser 公开提供。
引用
@article{arxiv.2405.17336,
title = {XFormParser: A Simple and Effective Multimodal Multilingual Semi-structured Form Parser},
author = {Xianfu Cheng and Hang Zhang and Jian Yang and Xiang Li and Weixiao Zhou and Fei Liu and Kui Wu and Xiangyuan Guan and Tao Sun and Xianjie Wu and Tongliang Li and Zhoujun Li},
journal= {arXiv preprint arXiv:2405.17336},
year = {2024}
}
备注
15 pages, 8 figures, 8 tables