论任务自适应预训练在对话响应选择中的应用
计算与语言
2022-10-11 v1
摘要
对话响应选择（DRS）近期的进展基于\textit{任务自适应预训练（TAP）}方法，即先用 BERT~\cite{devlin-etal-2019-bert} 初始化模型，再通过对话专用或细粒度预训练任务适配对话数据。然而，BERT 是否为最佳初始化选择，以及所提出的对话专用细粒度学习任务是否确实优于 MLM+NSP，尚不确定。本文旨在验证先前工作所做的假设并理解 DRS 性能提升的来源。我们表明，用 RoBERTa 初始化可取得与 BERT 相近的性能，且 MLM+NSP 能胜过所有先前提出的 TAP 任务，在此过程中我们还贡献了 Ubuntu 语料库上新的 state-of-the-art。附加分析显示，提升的主要来源是 TAP 步骤，且 NSP 任务对 DRS 至关重要，这与常见的 NLU 任务不同。
引用
@article{arxiv.2210.04073,
title = {On Task-Adaptive Pretraining for Dialogue Response Selection},
author = {Tzu-Hsiang Lin and Ta-Chung Chi and Anna Rumshisky},
journal= {arXiv preprint arXiv:2210.04073},
year = {2022}
}
备注
6 pages, 4 figures