不要拘泥于细枝末节：基于成对差异相关的片段级元评估
计算与语言
2025-10-01 v1
摘要
本文提出成对差异 Pearson（PDP），一种用于机器翻译（MT）的新型片段级元评估指标，旨在克服此前基于 Pearson's 和 Kendall's 的元评估方法的局限性。PDP 是一种基于相关的指标，利用成对差异而非原始分数。它利用所有片段的信息来更稳健地理解分数分布，并通过片段间的成对差异将全局 Pearson 细化为片段内分数比较。对 WMT'24 共享任务的分析表明，PDP 能够正确排序哨兵评估指标，并比先前工作更好地与人工错误权重对齐。噪声注入分析表明 PDP 对随机噪声、片段偏差和系统偏差具有鲁棒性，同时对其极端离群值敏感。
引用
@article{arxiv.2509.25546,
title = {Don't Sweat the Small Stuff: Segment-Level Meta-Evaluation Based on Pairwise Difference Correlation},
author = {Colten DiIanni and Daniel Deutsch},
journal= {arXiv preprint arXiv:2509.25546},
year = {2025}
}