自训练改进面向任务对话系统中少样本学习的预训练
计算与语言
2021-08-31 v1
摘要
由于面向任务的对话（ToD）系统中不同模块的标注代价高昂，一个主要挑战是以最少的标注数据训练不同模块。近来，大规模预训练语言模型在 ToD 的少样本学习中展现出有前景的结果。本文中，我们设计了一种自训练方法，以利用丰富的无标注对话数据，在 ToD 系统的少样本学习场景下进一步改进最先进的预训练模型。具体而言，我们提出一种自训练方法，迭代地标注最置信的无标注数据来训练一个更强的学生（Student）模型。此外，提出了一种新的文本增强技术（GradAug），通过使用掩码语言模型替换非关键 token 来更好地训练学生模型。我们在 ToD 的四个下游任务上进行了大量实验并给出分析，包括意图分类、对话状态跟踪、对话行为预测和回复选择。实证结果表明，在仅有一小部分标注数据可用时，所提出的自训练方法持续地改进了最先进的预训练模型（BERT、ToD-BERT）。
引用
@article{arxiv.2108.12589,
title = {Self-training Improves Pre-training for Few-shot Learning in Task-oriented Dialog Systems},
author = {Fei Mi and Wanhao Zhou and Fengyu Cai and Lingjing Kong and Minlie Huang and Boi Faltings},
journal= {arXiv preprint arXiv:2108.12589},
year = {2021}
}
备注
Accepted as Long Paper at "EMNLP, 2021"