基于$k$近邻的质量估计与模型特定质量估计的自动评估
计算与语言
2024-04-30 v1
摘要
为机器翻译(MT)输出提供质量分数，即所谓的无参考质量估计(QE)，对于告知用户翻译的可靠性至关重要。我们提出了一种特定于模型的无监督QE方法，称为NN-QE，该方法使用近邻从MT模型的训练数据中提取信息。衡量特定于模型的QE性能并不直接，因为它们提供的是自身MT输出的质量分数，因此无法使用包含预生成MT输出上人工质量分数的基准QE测试集进行评估。因此，我们提出了一种自动评估方法，该方法使用基于参考的指标的质量分数作为黄金标准，而不是人工生成的分数。我们是首个进行详细分析并得出结论：这种自动方法足够有效，且基于参考的MetricX-23最适合该任务。
引用
@article{arxiv.2404.18031,
title = {Quality Estimation with $k$-nearest Neighbors and Automatic Evaluation for Model-specific Quality Estimation},
author = {Tu Anh Dinh and Tobias Palzer and Jan Niehues},
journal= {arXiv preprint arXiv:2404.18031},
year = {2024}
}
备注
Accepted to EAMT 2024