穷人的质量估计：在无参考情况下预测基于参考的机器翻译指标
计算与语言
2023-04-26 v3
摘要
机器翻译质量估计（QE）在不查看参考译文的情况下预测对翻译假设的人工评判。基于预训练语言模型的最先进QE系统已在与人工评判的相关性上取得惊人表现，但它们计算繁重且需要人工标注，而人工标注创建缓慢且昂贵。为应对这些局限，我们定义了指标估计（ME）问题，即同样在无参考情况下预测自动化指标分数。我们表明，即使无参考访问权限，我们的模型也能在句子级估计自动化指标（BLEU的ρ=60%，其他指标的ρ=51%）。由于自动化指标与人工评判相关，我们可以利用ME任务预训练QE模型。对于QE任务，我们发现基于TER的预训练（ρ=23%）优于从头训练（ρ=20%）。
引用
@article{arxiv.2301.09008,
title = {Poor Man's Quality Estimation: Predicting Reference-Based MT Metrics Without the Reference},
author = {Vilém Zouhar and Shehzaad Dhuliawala and Wangchunshu Zhou and Nico Daheim and Tom Kocmi and Yuchen Eleanor Jiang and Mrinmaya Sachan},
journal= {arXiv preprint arXiv:2301.09008},
year = {2023}
}
备注
Accepted at EACL23 (main)