微调后的机器翻译指标在未见领域表现不佳
计算与语言
2024-06-05 v2 人工智能
摘要
我们引入了一个新的、广泛的多维质量指标（MQM）标注数据集，涵盖生物医学领域的11个语言对。我们使用该数据集来研究经过人类生成的机器翻译质量判断微调的机器翻译指标是否对训练和推理之间的领域转移具有鲁棒性。我们发现，相对于依赖表面形式的指标以及未经过机器翻译质量判断微调的预训练指标，微调后的指标在未见领域场景中表现出显著的性能下降。
引用
@article{arxiv.2402.18747,
title = {Fine-Tuned Machine Translation Metrics Struggle in Unseen Domains},
author = {Vilém Zouhar and Shuoyang Ding and Anna Currey and Tatyana Badeka and Jenyuan Wang and Brian Thompson},
journal= {arXiv preprint arXiv:2402.18747},
year = {2024}
}
备注
Accepted at ACL 2024