QueryForm:一种简单的零样本表单实体查询框架
机器学习
2023-06-29 v2 人工智能
计算与语言
摘要
用于文档理解的零样本迁移学习是一个关键但研究不足的情景,有助于降低标注文档实体的高成本。我们提出了一种新颖的基于查询的框架QueryForm,以零样本方式从类表单文档中提取实体值。QueryForm包含一种双重提示机制,将文档模式与特定实体类型组合为一个查询,用于提示一个Transformer模型执行单个实体抽取任务。此外,我们提议利用从具有弱HTML标注的类表单网页生成的大规模查询-实体对来预训练QueryForm。通过将预训练与微调统一到相同的基于查询的框架中,QueryForm使模型能够从包含各种实体和版式的结构化文档中学习,从而更好地泛化到目标文档类型而无需目标特定的训练数据。QueryForm在XFUND(+4.6%~10.1%)和Payment(+3.2%~9.5%)零样本基准上树立了全新的SOTA平均F1分数,且模型规模更小且无需额外图像输入。
引用
@article{arxiv.2211.07730,
title = {QueryForm: A Simple Zero-shot Form Entity Query Framework},
author = {Zifeng Wang and Zizhao Zhang and Jacob Devlin and Chen-Yu Lee and Guolong Su and Hao Zhang and Jennifer Dy and Vincent Perot and Tomas Pfister},
journal= {arXiv preprint arXiv:2211.07730},
year = {2023}
}
备注
Accepted to Findings of ACL 2023