为 Mint 加入 Chocolate：缓解机器翻译中的指标干扰
计算与语言
2025-06-19 v2 人工智能
摘要
随着自动指标变得越来越强大并被广泛采用，在模型开发过程中无意间“钻指标空子”的风险也随之上升。这个问题是由指标干扰（MINT）引起的，即在模型微调和评估中使用相同或相关的指标。MINT 会误导从业者对其系统性能过于乐观：随着系统输出成为干扰指标的函数，其估计质量与人类判断失去相关性。在这项工作中，我们分析了机器翻译相关任务中 MINT 的两个常见案例：训练数据过滤和使用质量信号解码。重要的是，我们发现 MINT 强烈扭曲了实例级别的指标得分，即使指标没有被直接优化——这质疑了利用另一个未用于微调但相关的指标进行评估的常见策略。为了解决这个问题，我们提出了 MINTADJUST，一种在 MINT 下进行更可靠评估的方法。在 WMT24 机器翻译共享任务测试集上，MINTADJUST 在大多数语言对中比 SOTA 指标更准确地排名了翻译和系统，特别是对于高质量系统。此外，MINTADJUST 优于组织者使用的集成方法 AUTORANK。
关键词
引用
@article{arxiv.2503.08327,
title = {Adding Chocolate to Mint: Mitigating Metric Interference in Machine Translation},
author = {José Pombal and Nuno M. Guerreiro and Ricardo Rei and André F. T. Martins},
journal= {arXiv preprint arXiv:2503.08327},
year = {2025}
}