方差感知的机器翻译测试集
计算与语言
2021-11-09 v1
摘要
摘要：我们发布了 70 个用于机器翻译（MT）评估的小型且具有区分力的测试集，称为方差感知测试集（VAT），涵盖从 WMT16 到 WMT20 竞赛的 35 个翻译方向。VAT 由一种新颖的方差感知过滤方法自动创建，该方法无需任何人工劳动即可过滤当前 MT 测试集中无区分力的测试实例。实验结果表明，在与人类判断的相关性方面，VAT 在主流语言对和测试集上均优于原始 WMT 测试集。对 VAT 性质的进一步分析揭示了竞争性 MT 系统所面临的语言学难点（例如低频词和专有名词的翻译），为构建未来的 MT 测试集提供了指导。测试集以及用于制备方差感知 MT 测试集的代码可在 https://github.com/NLP2CT/Variance-Aware-MT-Test-Sets 免费获取。
引用
@article{arxiv.2111.04079,
title = {Variance-Aware Machine Translation Test Sets},
author = {Runzhe Zhan and Xuebo Liu and Derek F. Wong and Lidia S. Chao},
journal= {arXiv preprint arXiv:2111.04079},
year = {2021}
}
备注
Accepted to NeurIPS 2021 Datasets and Benchmarks Track