用于多样化回复生成的变分 Transformer
计算与语言
2020-03-31 v1
摘要
尽管 Transformer 在许多序列建模任务（如机器翻译）中前景广阔，但其确定性本质阻碍了其向高熵任务（如对话回复生成）的泛化。已有工作提出用基于循环神经网络（RNN）的条件变分自编码器（CVAE）来捕捉对话回复的多样性。然而，RNN 的自回归计算限制了训练效率。因此，我们提出了变分 Transformer（VT），一种变分自注意力前馈序列模型。VT 通过将随机隐变量引入 Transformer，将 Transformer 的并行性与全局感受野与 CVAE 的变分特性相结合。我们探索了两类 VT：1）用全局隐变量建模话语级多样性；2）用细粒度隐变量序列增强 Transformer 解码器。随后，所提模型在三个对话数据集上通过自动指标与人工评估进行了评价。实验结果表明，我们的模型在多样性、语义相关性与人工判断方面均优于标准 Transformer 及其他基线。
引用
@article{arxiv.2003.12738,
title = {Variational Transformers for Diverse Response Generation},
author = {Zhaojiang Lin and Genta Indra Winata and Peng Xu and Zihan Liu and Pascale Fung},
journal= {arXiv preprint arXiv:2003.12738},
year = {2020}
}
备注
open domain dialogue