DocPrompt：面向零样本与少样本文档问答的大规模持续预训练
计算与语言
2023-09-01 v2 人工智能
摘要
本文提出 DocPrompt，用于文档问答任务，具备强大的零样本与少样本性能。我们提出了一种新颖的弱监督数据生成方法、一种新颖的多阶段训练方法以及一种新颖的理解模型与生成模型集成方法。我们在 4 个文档问答任务上取得了最先进的性能。该方法大幅提升了文档问答客户项目的交付效率与模型性能，降低了标注成本与人力成本。我们的演示可在 https://huggingface.co/spaces/PaddlePaddle/ERNIE-Layout 查看。
引用
@article{arxiv.2308.10959,
title = {DocPrompt: Large-scale continue pretrain for zero-shot and few-shot document question answering},
author = {Sijin Wu and Dan Zhang and Teng Hu and Shikun Feng},
journal= {arXiv preprint arXiv:2308.10959},
year = {2023}
}