利用无标注数据学习指令以实现零样本跨任务泛化
计算与语言
2022-10-18 v1
摘要
训练语言模型从人类指令中学习以实现零样本跨任务泛化，已在 NLP 领域引起广泛关注。近来，指令微调（IT）在大规模由人类撰写指令描述的任务集合上微调预训练语言模型，被证明对未见任务的指令学习有效。然而，IT 依赖大量人工标注样本，限制了其泛化能力。与标注数据不同，无标注数据通常规模庞大且获取成本低。本工作中，我们研究如何利用无标注数据改进 IT。我们首先通过实验探究 IT 性能随标注数据量、指令数和训练任务数的变化趋势。我们发现扩大训练指令数量至关重要，且由于标注数据稀缺，指令可能未被充分利用。随后，我们提出无标注数据增强指令微调（UDIT），通过从无标注纯文本构建伪标注数据，在 IT 期间更好地利用指令。我们开展了大量实验，展示了 UDIT 在多种任务与数据集场景下的有效性。我们还全面分析了 UDIT 的关键因素，以探究如何更好地利用无标注数据改进 IT。代码已公开于 https://github.com/thu-coai/UDIT。
引用
@article{arxiv.2210.09175,
title = {Learning Instructions with Unlabeled Data for Zero-Shot Cross-Task Generalization},
author = {Yuxian Gu and Pei Ke and Xiaoyan Zhu and Minlie Huang},
journal= {arXiv preprint arXiv:2210.09175},
year = {2022}
}
备注
Accepted by the main conference of EMNLP 2022