重新思考机器翻译评估中的回译
计算与语言
2023-05-16 v3
摘要
低资源语言翻译的自动评估受限于平行语料的匮乏。回译可作为一种巧妙而直接的技术来缓解对平行评估语料的需求。然而，在统计机器翻译（SMT）时代曾观察到前向翻译与回译的评估分数之间相关性不明。在本文中，我们报告了一个令人惊讶的发现：回译可在无参考的情况下用于自动评估。首先，我们对 SMT 评估中回译的重新审视揭示，其长期存在的误解本质上是由复制机制引起的。在移除 SMT 中的复制机制后，回译分数能够恰当地反映前向翻译性能。接着，我们论证这一修正实属必要，因为回译可惠及多项机器翻译评估任务。更具体地，回译可用于 i) 预测相应的前向翻译分数；ii) 提升近期先进质量估计模型的性能；以及 iii) 通过跨系统验证识别共享任务中的对抗性竞争者。
引用
@article{arxiv.2209.07351,
title = {Rethinking Round-Trip Translation for Machine Translation Evaluation},
author = {Terry Yue Zhuo and Qiongkai Xu and Xuanli He and Trevor Cohn},
journal= {arXiv preprint arXiv:2209.07351},
year = {2023}
}
备注
Accepted to Findings of ACL 2023