面向低资源语言的不匹配感知无监督翻译质量估计
计算与语言
2024-03-05 v3
摘要
翻译质量估计（QE）是在无任何参考的情况下预测机器翻译（MT）输出质量的任务。该任务作为 MT 实际应用中的重要组成部分，已受到越来越多的关注。本文中，我们首先提出 XLMRScore，它是通过 XLM-RoBERTa（XLMR）模型计算的 BERTScore 的跨语言对应指标。该度量可作为简单的无监督 QE 方法，但面临两个问题：其一，未翻译词元导致翻译分数意外偏高；其二，在 XLMRScore 中应用贪心匹配时源端与假设词元之间的不匹配错误问题。为缓解这些问题，我们分别建议将未翻译词替换为未知词元，以及利用预训练模型的跨语言对齐使对齐词彼此表示得更接近。我们在 WMT21 QE 共享任务的四个低资源语言对以及本文引入的一个新的英语波斯语（En-Fa）测试数据集上评估了所提方法。实验表明，我们的方法在两个零样本场景下可获得与有监督基线相当的结果（即 Pearson 相关系数差异小于 0.01），同时在所有低资源语言对上平均以超过 8% 的优势优于无监督对手。
引用
@article{arxiv.2208.00463,
title = {Mismatching-Aware Unsupervised Translation Quality Estimation For Low-Resource Languages},
author = {Fatemeh Azadi and Heshaam Faili and Mohammad Javad Dousti},
journal= {arXiv preprint arXiv:2208.00463},
year = {2024}
}
备注
Submitted to Language Resources and Evaluation