面向一对多生成的目标域条件建模
机器学习
2020-09-22 v1 机器学习
摘要
神经机器翻译（NMT）模型在其生成的译文中往往缺乏多样性，即便配合束搜索等搜索算法也是如此。一个挑战在于，译文的多样性是由目标语言的变异性引起的，无法仅从源句子推断得出。在本文中，我们提出通过让 NMT 模型的解码器以表示目标句子所属领域的潜变量为条件，来显式地建模这种一对多映射。该领域是由一个与目标句子编码器联合训练的离散变量，由目标编码器生成。在训练过程中，目标句子的预测领域作为解码器的输入给出。在推理时，我们可以通过使用不同领域进行解码来生成多样化的译文。与我们最强的基线（Shen et al., 2019）不同，我们的方法可以扩展到任意数量的领域，而不会影响性能或训练时间。我们在三个不同数据集上，使用若干指标评估了我们的模型所生成译文的质量与多样性。
引用
@article{arxiv.2009.09758,
title = {Target Conditioning for One-to-Many Generation},
author = {Marie-Anne Lachaux and Armand Joulin and Guillaume Lample},
journal= {arXiv preprint arXiv:2009.09758},
year = {2020}
}