用于改进版式感知文档理解的位置掩码
计算与语言
2021-09-02 v1 机器学习
摘要
针对文档扫描件与 PDF 的自然语言处理有极大潜力提升业务流程效率。LayoutLM 等版式感知词嵌入已在此类文档的分类与信息抽取中展现出前景。本文提出一种新的预训练任务，可改进融合了二维位置嵌入的版式感知词嵌入的性能。我们将仅使用语言掩码预训练的模型与同时使用语言掩码和位置掩码预训练的模型进行比较，发现位置掩码在表单理解任务上带来超过 5% 的性能提升。
引用
@article{arxiv.2109.00442,
title = {Position Masking for Improved Layout-Aware Document Understanding},
author = {Anik Saha and Catherine Finegan-Dollak and Ashish Verma},
journal= {arXiv preprint arXiv:2109.00442},
year = {2021}
}
备注
Document Intelligence Workshop at KDD, 2021