自动化评估指标的系统依赖性度量
计算与语言
2024-12-31 v2 人工智能
摘要
机器翻译的自动化指标取得了显著进展，目标是取代昂贵且耗时的人员评估。这些指标通常通过其与人类判断之间的相关性来评估，这捕捉了人类评分与指标分数之间的单调关系。然而，我们认为确保指标对所有系统都公平且一致地对待同样重要。在本文中，我们提出了一种评估这一方面的方法。
引用
@article{arxiv.2412.03152,
title = {A Measure of the System Dependence of Automated Metrics},
author = {Pius von Däniken and Jan Deriu and Mark Cieliebak},
journal= {arXiv preprint arXiv:2412.03152},
year = {2024}
}