ERNIE-Layout：面向富视觉文档理解的布局知识增强预训练
计算与语言
2022-10-17 v2 人工智能
摘要
近年来，预训练技术在富视觉文档理解中兴起并取得成功。然而，大多数现有方法缺乏对以布局为中心知识的系统性挖掘与利用，导致次优性能。在本文中，我们提出ERNIE-Layout，一种在整个工作流中引入布局知识增强的新型文档预训练方案，以学习结合文本、布局和图像特征的更好表示。具体而言，我们首先在序列化阶段重排输入序列，然后提出关联预训练任务——阅读顺序预测，以学习文档的正确阅读顺序。为提升模型的布局感知能力，我们将空间感知解耦注意力集成到多模态transformer中，并将替换区域预测任务引入预训练阶段。实验结果表明，ERNIE-Layout在各种下游任务上取得优越性能，在关键信息抽取、文档图像分类和文档问答数据集上刷新了最先进的（SOTA）水平。代码与模型已公开于 http://github.com/PaddlePaddle/PaddleNLP/tree/develop/model_zoo/ernie-layout。
引用
@article{arxiv.2210.06155,
title = {ERNIE-Layout: Layout Knowledge Enhanced Pre-training for Visually-rich Document Understanding},
author = {Qiming Peng and Yinxu Pan and Wenjin Wang and Bin Luo and Zhenyu Zhang and Zhengjie Huang and Teng Hu and Weichong Yin and Yongfeng Chen and Yin Zhang and Shikun Feng and Yu Sun and Hao Tian and Hua Wu and Haifeng Wang},
journal= {arXiv preprint arXiv:2210.06155},
year = {2022}
}
备注
Accepted to EMNLP 2022 (Findings)