通过自训练消除可训练机器翻译度量中的偏差
计算与语言
2015-08-12 v1
摘要
大多数可训练的机器翻译 (MT) 度量在 SOTA MT 系统输出的人工评判结果上训练其权重。这使得可训练度量在许多方面存在偏差。其中之一是偏好较长的翻译。当这些有偏差的度量用于调优时，它们评估的是不同类型的翻译——质量差异非常大的 n-best 翻译列表。使用这些度量调优的系统倾向于产生过长的翻译，这些翻译受度量偏好但不受人类偏好。这通常通过手动调整度量权重以同等重视召回率和精确率来解决。我们的解决方案更具通用性：(1) 它不仅解决召回率偏差，还解决数据中可能存在的所有其他偏差；(2) 它不需要了解所用特征类型的任何知识，这在无法手动调整度量权重的情况下非常有用。这是通过在未标记的 n-best 列表上进行自训练来实现的，所使用的度量最初在标准人工评判结果上训练。看待这个问题的一种方式是，将其视为从 SOTA MT 翻译域到多样化 n-best 列表翻译域的领域自适应。
引用
@article{arxiv.1508.02445,
title = {Removing Biases from Trainable MT Metrics by Using Self-Training},
author = {Miloš Stanojević},
journal= {arXiv preprint arXiv:1508.02445},
year = {2015}
}