因人而异：探究面向多样对话任务的恰当进一步预训练方法
计算与语言
2021-09-15 v1
摘要
在通用领域大规模语料上预训练模型并在特定下游任务上微调，正逐渐成为自然语言处理的一种范式。先前研究证明，在预训练与微调阶段之间引入进一步预训练阶段，使模型适应领域特定无标注数据，可带来正向效果。然而，多数进一步预训练工作仅延续常规预训练任务（如掩码语言模型），可视为弥合数据分布差距的领域自适应。观察多样下游任务后，我们指出不同任务可能同样需要带有恰当训练任务的进一步预训练阶段以弥合任务形式化差距。为探究此问题，我们开展了一项通过设计进一步预训练阶段多种任务来改善多个任务型对话下游任务的研究。实验显示，不同下游任务偏好不同的进一步预训练任务，其间存在内在关联，且多数进一步预训练任务显著改善特定目标任务而非全部。我们的研究表明，设计建模有益于下游任务的特定信息的恰当进一步预训练任务极具重要性与有效性。此外，我们给出了多条增强任务型对话的实证结论。
引用
@article{arxiv.2109.06524,
title = {Different Strokes for Different Folks: Investigating Appropriate Further Pre-training Approaches for Diverse Dialogue Tasks},
author = {Yao Qiu and Jinchao Zhang and Jie Zhou},
journal= {arXiv preprint arXiv:2109.06524},
year = {2021}
}
备注
Accepted as a long paper at EMNLP 2021 (Main Conference)