用黑名单方法评估机器翻译在汉语成语上的性能
计算与语言
2018-02-21 v3
摘要
成语翻译是机器翻译中一个具挑战性的问题，因为成语意义具有非组合性，逐字直译很可能出错。本文聚焦于评估 MT 系统的成语翻译质量。我们基于成语特定的直译黑名单引入了一种新评估方法，其依据是：翻译输出中任何黑名单词的出现都表明可能存在翻译错误。我们引入了数据集 CIBB（Chinese Idioms Blacklists Bank，汉语成语黑名单库），并对一个最先进的汉英神经 MT 系统进行了评估。我们的评估证实测试集中相当数量的成语被误译（46.1%），直译错误是常见错误类型，且我们的黑名单方法能有效识别直译错误。
引用
@article{arxiv.1711.07646,
title = {Evaluating Machine Translation Performance on Chinese Idioms with a Blacklist Method},
author = {Yutong Shao and Rico Sennrich and Bonnie Webber and Federico Fancellu},
journal= {arXiv preprint arXiv:1711.07646},
year = {2018}
}
备注
Full paper accepted by LREC, 8 pages