ConEntail：基于蕴含的带监督对比预训练通用零样本与少样本分类框架
计算与语言
2023-02-14 v2
摘要
通用分类模型旨在零样本与少样本设定下泛化至多样的分类任务。实现通用分类的一种有前景方法是将异构数据格式转换为与数据集无关的“元任务”（例如文本蕴含、问答），然后在组合的元数据集上预训练模型。现有工作要么在特定分类任务子集上预训练，要么在分类与生成数据上均预训练但模型未能发挥其通用性与可靠性的潜力。这些也导致大量标注数据未被充分利用。为填补这些空白，我们提出 ConEntail，一种用于通用零样本与少样本分类并带监督对比预训练的新框架。我们统一的分类元任务基于嵌套蕴含，可解释为“句子 a 是否蕴含 [句子 b 蕴含标签 c]”。该表述使我们能更好地利用 57 个标注分类数据集进行监督对比预训练与通用评估。借此，ConEntail 帮助模型（1）吸收来自不同数据集的知识，（2）随预训练数据增多获得一致性能提升。实验中，我们将模型与在相同数据集上预训练的判别式和生成式模型比较。结果证实我们的框架有效利用现有标注数据，并在零样本（平均提升 9.4%）和少样本设定（平均提升 3.5%）下一致优于基线。
引用
@article{arxiv.2210.07587,
title = {ConEntail: An Entailment-based Framework for Universal Zero and Few Shot Classification with Supervised Contrastive Pretraining},
author = {Ranran Haoran Zhang and Aysa Xuemo Fan and Rui Zhang},
journal= {arXiv preprint arXiv:2210.07587},
year = {2023}
}
备注
Accepted by EACL 2023