面向神经机器翻译最小贝叶斯风险解码的基于采样的近似
计算与语言
2022-10-26 v2
摘要
在 NMT 中，我们搜索模型分布的众数以形成预测。业已表明，束搜索找到的众数及其他高概率翻译在多方面常常是不充分的。这阻碍了通过更好的搜索来提高翻译质量，因为这些特异性的翻译最终被解码算法选中，这一问题被称为束搜索诅咒。最近，一种对最小贝叶斯风险 (MBR) 解码的近似被提出作为替代决策规则，该规则可能不会遭受同样的问题。我们分析了这种近似，并确认它不存在与束搜索诅咒等效的问题。随后，我们设计了将探索成本与期望效用的稳健估计成本解耦的近似方法。这允许使用大得多的假设空间，我们表明这是有益的。我们还表明，寻众策略有助于构建紧凑的有前景假设集，并且 MBR 能够有效地从中识别出好的翻译。我们在资源可用量不同的三个语言对上进行了实验：英语与德语、罗马尼亚语和尼泊尔语互译。
引用
@article{arxiv.2108.04718,
title = {Sampling-Based Approximations to Minimum Bayes Risk Decoding for Neural Machine Translation},
author = {Bryan Eikema and Wilker Aziz},
journal= {arXiv preprint arXiv:2108.04718},
year = {2022}
}
备注
EMNLP 2022 camera-ready