超越英语的翻译评测学习：BLEURT 参与 WMT 2020 指标共享任务
计算与语言
2020-10-21 v3
摘要
在过去十年中，机器翻译系统的质量得到了显著提升，因此评测已成为一个日益严峻的挑战。本文描述了我们对 WMT 2020 指标共享任务（机器翻译自动评测的主要基准）的贡献。我们基于此前发布的、以迁移学习为基础的指标 BLEURT 做出了若干提交。我们将该指标扩展到英语之外，并在有微调数据的 14 个语言对以及 4 个“零样本”语言对（我们无标注样本）上对其进行评测。此外，我们聚焦于英语到德语，展示了如何将 BLEURT 的预测与 YiSi 的预测相结合，并利用替代参考译文来提升性能。实证结果表明，这些模型在 WMT 2019 指标共享任务上取得了具有竞争力的结果，显示出其在 2020 年版本中的前景。
引用
@article{arxiv.2010.04297,
title = {Learning to Evaluate Translation Beyond English: BLEURT Submissions to the WMT Metrics 2020 Shared Task},
author = {Thibault Sellam and Amy Pu and Hyung Won Chung and Sebastian Gehrmann and Qijun Tan and Markus Freitag and Dipanjan Das and Ankur P. Parikh},
journal= {arXiv preprint arXiv:2010.04297},
year = {2020}
}