通过多级对比学习增强对话生成
计算与语言
2021-06-23 v2
摘要
现有大多数对话生成工作都是直接在从网站爬取的语料上训练的数据驱动模型。它们主要关注改进模型架构以产生更好的回复,却很少以对比的方式考虑训练数据的质量。在本文中,我们提出一种多级对比学习范式,以针对查询建模回复的细粒度质量。设计了一个排序感知校准(RC)网络来构建多级对比优化目标。由于这些目标是基于句子层级计算的,可能会错误地鼓励/抑制无信息/有信息词的生成。为解决这一附带问题,一方面,我们设计了一种精细的词元级策略以更准确地估计实例损失。另一方面,我们构建了一个知识推断(KI)组件,在训练期间从参考中捕获关键词知识,并利用此类信息鼓励有信息词的生成。我们在一个精心标注的对话数据集上评估所提模型,结果表明与基线模型相比,我们的模型能生成更相关且更多样的回复。
引用
@article{arxiv.2009.09147,
title = {Enhancing Dialogue Generation via Multi-Level Contrastive Learning},
author = {Xin Li and Piji Li and Yan Wang and Xiaojiang Liu and Wai Lam},
journal= {arXiv preprint arXiv:2009.09147},
year = {2021}
}