面向特定领域回复生成的元上下文Transformer
计算与语言
2020-10-13 v1
摘要
尽管神经对话模型近年来取得了巨大成功,但其生成的回复在相关性、多样性以及有时连贯性方面存在不足。近来,基于 Transformer 的模型(如 GPT-2)通过语言建模捕捉长距离结构,革新了对话生成的格局。虽然这些模型展现出优异的语言连贯性,但在用于特定领域回复生成时往往缺乏相关性与领域术语。本文提出 DSRNet(领域特定回复网络),一种通过强化领域特定属性进行对话回复生成的基于 Transformer 的模型。具体而言,我们从上下文中提取元属性,并将其与上下文话语融合,以更好地关注领域关键术语与相关性。我们研究了 DSRNet 在多轮多说话人环境中用于特定领域回复生成的情况。在实验中,我们在 Ubuntu 对话数据集上评估 DSRNet,该数据集主要由 IT 领域问题解决的各类技术域相关对话组成,同时也在包含餐厅领域对话的 CamRest676 数据集上进行评估。以最大似然为目标进行训练,我们的模型在多轮对话系统上相较最先进方法取得显著提升,BLEU 与语义相似度(BertScore)分数更优。此外,我们还观察到,由于存在与上下文属性重叠更好的领域特定关键属性,我们的模型生成的回复具有更高的相关性。分析表明,性能提升主要源于关键术语与对话的融合,从而更好地关注领域相关术语。其他促成因素包括对话上下文与领域特定元属性及主题的联合建模。
引用
@article{arxiv.2010.05572,
title = {Meta-Context Transformers for Domain-Specific Response Generation},
author = {Debanjana Kar and Suranjana Samanta and Amar Prakash Azad},
journal= {arXiv preprint arXiv:2010.05572},
year = {2020}
}
备注
7+2 pages, 6 figures, 4 tables