BlonDe：一种面向文档级机器翻译的自动评价指标
计算与语言
2022-07-06 v4 人工智能
摘要
标准的自动评价指标（如 BLEU）在文档级机器翻译评估中并不可靠。它们既无法区分翻译质量在文档级相对于句子级的提升，也无法识别导致脱离上下文翻译的语篇现象。本文提出一种新颖的自动指标 BlonDe，将自动机器翻译评估的范围从句子级拓展至文档级。BlonDe 通过对方语篇相关的跨度进行分类并计算基于相似度的 F1 度量，将语篇连贯性纳入考量。我们在一个新构建的数据集 BWB 上进行了大量对比实验。实验结果表明，BlonDe 在文档级具有更好的选择性与可解释性，且对文档级细微差异更为敏感。在一项大规模人工研究中，与以往指标相比，BlonDe 也与人工评判的皮尔逊相关系数（Pearson's r）显著更高。
引用
@article{arxiv.2103.11878,
title = {BlonDe: An Automatic Evaluation Metric for Document-level Machine Translation},
author = {Yuchen Eleanor Jiang and Tianyu Liu and Shuming Ma and Dongdong Zhang and Jian Yang and Haoyang Huang and Rico Sennrich and Ryan Cotterell and Mrinmaya Sachan and Ming Zhou},
journal= {arXiv preprint arXiv:2103.11878},
year = {2022}
}
备注
9 pages, accepted to NAACL 2022