对话上下文表示学习的预训练方法
计算与语言
2019-06-05 v2 人工智能
摘要
本文考察了用于学习对话上下文表示的各种无监督预训练目标。提出了两种新颖的对话上下文编码器预训练方法，并共考察了四种方法。每个预训练目标均在下游对话任务上使用 MultiWoz 数据集进行微调与评估，并观察到强劲的性能提升。进一步评估表明，我们的预训练目标不仅带来更好的性能，还带来更好的收敛性、更少数据依赖的模型以及更好的领域泛化能力。
引用
@article{arxiv.1906.00414,
title = {Pretraining Methods for Dialog Context Representation Learning},
author = {Shikib Mehri and Evgeniia Razumovskaia and Tiancheng Zhao and Maxine Eskenazi},
journal= {arXiv preprint arXiv:1906.00414},
year = {2019}
}
备注
Accepted to ACL 2019