对比训练改进半结构化文档的零样本分类
计算与语言
2022-10-12 v1 人工智能
摘要
我们研究了零样本设定下半结构化文档的分类。半结构化文档的分类比标准非结构化文档更具挑战性，因为位置、版式和样式信息在解读此类文档时起着至关重要的作用。在训练和测试阶段类别均固定的标准分类设定，难以应对可能出现新文档类别的动态环境。我们专注于在未见新类上进行推断的零样本设定。针对该任务，我们提出了一种基于匹配的方法，在预训练和微调阶段均依赖成对对比目标。我们的结果表明，所提出的预训练步骤在有监督和无监督零样本设定下均显著提升了 Macro F。
引用
@article{arxiv.2210.05613,
title = {Contrastive Training Improves Zero-Shot Classification of Semi-structured Documents},
author = {Muhammad Khalifa and Yogarshi Vyas and Shuai Wang and Graham Horwood and Sunil Mallya and Miguel Ballesteros},
journal= {arXiv preprint arXiv:2210.05613},
year = {2022}
}