KoBE：基于知识的机器翻译评估
计算与语言
2020-09-24 v1
摘要
我们提出一种简单而有效的机器翻译评估方法，其不需要参考译文。我们的方法基于（1）将每个源句子与候选译文中发现的实体提及基于大规模多语言知识库进行接地，以及（2）度量候选译文中已接地实体相对于源句子中发现实体的召回率。我们的方法在 WMT19 无参考评估基准的 18 个语言对中的 9 个上取得了与人工判断的最高相关性，这是该任务上单一评估方法获得的最多胜出次数。在 4 个语言对上，我们也取得了比 BLEU 更高的人工判断相关性。为促进进一步研究，我们发布了一个数据集，包含来自 WMT19 指标赛道数据的 18 个语言对中的 180 万条已接地实体提及。
引用
@article{arxiv.2009.11027,
title = {KoBE: Knowledge-Based Machine Translation Evaluation},
author = {Zorik Gekhman and Roee Aharoni and Genady Beryozkin and Markus Freitag and Wolfgang Macherey},
journal= {arXiv preprint arXiv:2009.11027},
year = {2020}
}
备注
Accepted as a short paper in Findings of EMNLP 2020