通过促进互信息改进变分神经机器翻译
计算与语言
2019-09-23 v1
摘要
后验坍塌困扰着文本的变分自编码器，尤其是对于具有强自回归解码器的条件文本生成。本文通过显式促进隐变量与数据之间的互信息来解决变分神经机器翻译中的这一问题。我们的模型扩展了条件变分自编码器（CVAE），引入两个新要素：第一，我们提出一个改进的证据下界（ELBO）目标，显式促进互信息；第二，我们通过混合一个由隐变量直接预测的辅助分解分布来正则化解码器的概率。我们展示了在Transformer架构上的实证结果，表明所提模型有效解决了后验坍塌：在强解码器存在的情况下，隐变量不再被忽略。因此，所提模型在提高翻译质量的同时，在数据效率和鲁棒性方面展现出优越性能。
引用
@article{arxiv.1909.09237,
title = {Improved Variational Neural Machine Translation by Promoting Mutual Information},
author = {Arya D. McCarthy and Xian Li and Jiatao Gu and Ning Dong},
journal= {arXiv preprint arXiv:1909.09237},
year = {2019}
}