通过软两两准确度提升人类评估自动度量的统计显著性
计算与语言
2024-10-07 v2 人工智能
摘要
选择能够最好模拟人类标注员的自动度量往往并不容易，因为不存在明确的“最佳模拟”定义。需要一种元度量来比较人类判断与自动度量分数，而度量排名依赖于所选元度量的选择。我们提出了软两两准确度（Soft Pairwise Accuracy, SPA）作为一种新型元度量，它在两两准确度（Pairwise Accuracy, PA）的基础上，Incorporates了人类判断和度量分数的统计显著性。我们表明，SPA相对于评估中使用的系统/片段数量变化，比PA更稳定。我们也指出，PA只能为度量分配小集合的离散输出值，这导致许多度量被人为地获得相同的PA分数。我们演示SPA可解决此问题。最后，我们表明SPA比PA更具辨别力，能够在度量之间产生更统计显著的比较。SPA被选为2024年WMT度量共享任务的官方系统级度量。
引用
@article{arxiv.2409.09598,
title = {Improving Statistical Significance in Human Evaluation of Automatic Metrics via Soft Pairwise Accuracy},
author = {Brian Thompson and Nitika Mathur and Daniel Deutsch and Huda Khayrallah},
journal= {arXiv preprint arXiv:2409.09598},
year = {2024}
}
备注
Accepted at WMT 2024