利用多样化自动复述改善 BLEU 参考覆盖的研究
计算与语言
2020-10-12 v3
摘要
我们研究了 BLEU 典型使用中的一个长期存在的缺陷：其对单一参考的依赖。利用现代神经复述技术，我们研究自动生成额外的多样化参考是否能更好地覆盖有效翻译的空间，从而改善其与人类判断的相关性。我们在 WMT19 度量任务英译方向（系统级和句子级）上的实验表明，使用复述参考通常能改善 BLEU，且当其改善时，越多样化越好。然而，我们也表明，如果这些复述能针对性地覆盖与所评估 MT 输出最相关的空间部分，则可取得更好结果。此外，即便使用人类复述，增益仍然微小，表明 BLEU 正确利用多参考的能力存在固有局限。令人惊讶的是，我们还发现充分性似乎较不重要，这由一种强采样方法的高结果所表明，该方法在句子级 BLEU 下甚至胜过人类复述。
引用
@article{arxiv.2004.14989,
title = {A Study in Improving BLEU Reference Coverage with Diverse Automatic Paraphrasing},
author = {Rachel Bawden and Biao Zhang and Lisa Yankovskaya and Andre Tättar and Matt Post},
journal= {arXiv preprint arXiv:2004.14989},
year = {2020}
}
备注
Accepted in the Findings of EMNLP 2020