利用 Mechanical Turk 构建机器翻译评估集
计算与语言
2014-10-22 v1 机器学习
机器学习
摘要
构建机器翻译（MT）测试集是一项相对昂贵的任务。随着越来越多的语言对和领域对机器翻译的需求日益增长，为每种情况构建测试集变得必要。在本文中，我们研究了利用亚马逊的 Mechanical Turk（MTurk）来低成本地构建 MT 测试集。我们发现，使用 MTurk 构建测试集的成本远低于专业制作的测试集。更重要的是，在对多个 MT 系统进行的实验中，我们发现 MTurk 生成的测试集在关于系统性能的结论上与专业制作的测试集基本一致。
引用
@article{arxiv.1410.5491,
title = {Using Mechanical Turk to Build Machine Translation Evaluation Sets},
author = {Michael Bloodgood and Chris Callison-Burch},
journal= {arXiv preprint arXiv:1410.5491},
year = {2014}
}
备注
4 pages, 2 tables; appeared in Proceedings of the NAACL HLT 2010 Workshop on Creating Speech and Language Data with Amazon's Mechanical Turk, June 2010