面向对话回复生成的多参考训练
计算与语言
2020-10-20 v2
摘要
在开放域对话回复生成中，一个对话上下文可以用多种不同的回复延续，对话模型应当捕捉这种一对多关系。本工作中，我们首先从 Kullback-Leibler 散度（KLD）的视角分析对话模型的训练目标，并指出真实世界概率分布与单参考数据概率分布之间的差距阻碍了模型高效地学习一对多关系。随后我们从两方面探索多参考训练的方法。数据方面，我们从一个强大的预训练模型生成多样化的伪参考，以构建能更好逼近真实世界分布的多参考数据。模型方面，我们提出为变分模型配备一个名为线性高斯模型（LGM）的富于表现力的先验。自动评测与人工评测的实验结果表明，这些方法相较基线取得了显著提升。我们将在 https://github.com/ZHAOTING/dialog-processing 发布代码与数据。
引用
@article{arxiv.2009.07117,
title = {Multi-Referenced Training for Dialogue Response Generation},
author = {Tianyu Zhao and Tatsuya Kawahara},
journal= {arXiv preprint arXiv:2009.07117},
year = {2020}
}