面向零样本文本分类的标签无关预训练
计算与语言
2023-05-29 v1 机器学习
摘要
传统的文本分类方法通常假设存在一组固定的预定义标签，可将给定文本分类至其中。然而，在现实应用中，描述给定文本的标签空间是无限的。此外，根据文本的方面（情感、主题等）和领域（金融、法律等），标签的解释可能大不相同。这使得文本分类任务，尤其在零样本场景下，极具挑战性。本文研究零样本文本分类任务，旨在提升预训练语言模型（PLMs）在不同方面和领域上对已见与未见数据的泛化能力。为此，我们提出两种新颖、简洁而有效的预训练策略：隐式预训练与显式预训练。这些方法在训练时将方面级理解注入模型，以引导模型建立任务级理解。为评估该方法，我们构建并发布了 UTCD，一个用于评估零样本设置下文本分类的新基准数据集。在 UTCD 上的实验结果表明，我们的方法在一系列不同零样本形式化定义的具有挑战性的数据集上实现了改进的零样本泛化。
引用
@article{arxiv.2305.16521,
title = {Label Agnostic Pre-training for Zero-shot Text Classification},
author = {Christopher Clarke and Yuzhao Heng and Yiping Kang and Krisztian Flautner and Lingjia Tang and Jason Mars},
journal= {arXiv preprint arXiv:2305.16521},
year = {2023}
}
备注
Findings of ACL 2023