利用 Dropout 从模型分布生成多样化译文
计算与语言
2020-10-19 v1 人工智能
摘要
尽管翻译质量有所提升，神经机器翻译（NMT）常受其生成缺乏多样性的困扰。本文中，我们提出通过贝叶斯建模推导大量可能模型并从中采样模型进行推理，以生成多样化译文。可能模型通过对 NMT 模型施加 concrete dropout 获得，每个模型对其预测具有特定置信度，对应于贝叶斯建模原理下特定训练数据的后验模型分布。利用变分推断，后验模型分布可由变分分布近似，最终用于推理的模型从该变分分布中采样。我们在中英和英德翻译任务上开展实验，结果表明我们的方法在多样性与准确性之间取得了更好的权衡。
引用
@article{arxiv.2010.08178,
title = {Generating Diverse Translation from Model Distribution with Dropout},
author = {Xuanfu Wu and Yang Feng and Chenze Shao},
journal= {arXiv preprint arXiv:2010.08178},
year = {2020}
}