评估长度可控机器翻译的有效性
计算与语言
2023-05-04 v1 人工智能
摘要
长度可控机器翻译是一种受限翻译。其目标是在控制译文长度的同时尽可能保留原意。我们可以使用自动摘要或机器翻译评估指标来评价长度可控机器翻译，但这未必合适且准确。本工作是首次尝试系统性地评估长度可控机器翻译任务上的自动指标。我们在两个翻译方向上进行了严格的人工评估，并评估了 18 个摘要或翻译评估指标。我们发现 BLEURT 和 COMET 与人工评估的相关性最高，最适合作为长度可控机器翻译的评估指标。
引用
@article{arxiv.2305.02300,
title = {Evaluating the Efficacy of Length-Controllable Machine Translation},
author = {Hao Cheng and Meng Zhang and Weixuan Wang and Liangyou Li and Qun Liu and Zhihua Zhang},
journal= {arXiv preprint arXiv:2305.02300},
year = {2023}
}