早期退出与即时置信度机器翻译质量估计
计算与语言
2025-07-09 v2
摘要
质量估计在机器翻译中无处不在，既用于评估也用于生成。然而，质量估计模型往往不透明且计算昂贵，难以纳入大规模管道。在本文中，我们解决两个相互关联的挑战：（1）降低大规模质量估计的成本，（2）开发一种低成本的不确定性估计方法用于质量估计。为解决后者，我们引入Instant Confidence COMET，这是一种具有不确定性感知的质量估计模型，在性能上与以前的方法相当，但成本仅为其的一小部分。我们将其扩展为Early-Exit COMET，这是一种可以在早期模型层上计算质量分数和相关置信度的质量估计模型，允许我们提前退出计算并减少评估成本。我们还将我们的模型应用于机器翻译reranking。我们将Early-Exit COMET与上置信界bandit算法结合，从大型候选池中找到最佳候选者，而无需在所有候选者上运行完整的评估模型。在两种情况下（评估和reranking），我们的方法将所需计算量降低了50%，且性能几乎没有明显下降。最后，我们展示了Instant Confidence COMET可用于决定哪些翻译应该由人类评估器评分，而不是依赖COMET得分。
引用
@article{arxiv.2502.14429,
title = {Early-Exit and Instant Confidence Translation Quality Estimation},
author = {Vilém Zouhar and Maike Züfle and Beni Egressy and Julius Cheng and Mrinmaya Sachan and Jan Niehues},
journal= {arXiv preprint arXiv:2502.14429},
year = {2025}
}