理解神经机器翻译中最小贝叶斯风险解码的性质
计算与语言
2021-05-19 v1 机器学习
摘要
神经机器翻译(NMT)目前表现出诸如生成过短译文、过度生成高频词等偏差，并且对训练数据中的复制噪声或领域偏移表现出较差的鲁棒性。近期工作将这些缺陷归因于束搜索——NMT 中事实上的标准推断算法——而 Eikema & Aziz (2020) 提出改用基于无偏样本的最小贝叶斯风险(MBR)解码。本文中，我们针对束搜索此前报道的若干偏差与失败案例，实证考察 MBR 解码的性质。我们发现，由于用作效用函数的 MT 度量指标，MBR 仍表现出长度与词符频率偏差，但 MBR 也提升了对训练数据中复制噪声与领域偏移的鲁棒性。
引用
@article{arxiv.2105.08504,
title = {Understanding the Properties of Minimum Bayes Risk Decoding in Neural Machine Translation},
author = {Mathias Müller and Rico Sennrich},
journal= {arXiv preprint arXiv:2105.08504},
year = {2021}
}
备注
V1: ACL 2021 camera-ready