平局至关重要：以成对准确率与平局校准对现代指标进行元评估
计算与语言
2023-10-18 v2
摘要
Kendall's tau 常被用于元评估机器翻译（MT）评测指标对单个译文打分的好坏。其对成对分数比较的关注直观易懂，但也引发了应如何处理平局的问题，这一灰色地带在文献中催生了不同变体。我们证明，在现代 MT 元评估等场景下，现有变体因其对平局的处理方式而存在缺陷，且在某些情况下甚至可被操纵。我们转而提出以一类成对准确率变体对指标进行元评估，该变体在指标正确预测平局时给予信用，并结合一种平局校准过程，自动将平局引入指标分数，从而能在预测平局与不预测平局的指标间进行公平比较。我们论证并提供实验证据表明，这些改进带来了更公平的基于排序的指标性能评估。
引用
@article{arxiv.2305.14324,
title = {Ties Matter: Meta-Evaluating Modern Metrics with Pairwise Accuracy and Tie Calibration},
author = {Daniel Deutsch and George Foster and Markus Freitag},
journal= {arXiv preprint arXiv:2305.14324},
year = {2023}
}