用于对话领域自适应的混合生成-检索Transformer
计算与语言
2020-03-09 v2
摘要
领域自适应近来已成为对话系统研究中的关键问题。深度学习虽为建模此类系统的首选技术，但在海量训练数据下表现最佳。然而在真实场景中，每个新领域并非都有此类资源，因此以少量对话样本进行训练的能力可谓至关重要。在大数据源上预训练并适配目标数据，已成为深度学习框架内少样本问题的标准方法。本文给出DSTC8快速领域自适应任务的冠军方案：一种基于GPT-2微调到多领域MetaLWOz数据集的混合生成-检索模型。我们的模型在响应生成上鲁棒且多样，并以检索逻辑作为兜底，在MetaLWOz上人工评估为SOTA（相较第二名系统提升>4%），并在适配未见过的MultiWOZ数据集时取得有竞争力的泛化性能。
引用
@article{arxiv.2003.01680,
title = {Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation},
author = {Igor Shalyminov and Alessandro Sordoni and Adam Atkinson and Hannes Schulz},
journal= {arXiv preprint arXiv:2003.01680},
year = {2020}
}
备注
Presented at DSTC8@AAAI 2020