超越人类唯一性：评估人机协作获取高质量翻译数据的潜力
计算与语言
2024-10-16 v1
摘要
收集高质量翻译对于机器翻译系统的开发和评估至关重要。然而，传统的人类唯一方法成本高昂且效率低下。本研究对 11 种获取翻译数据的方法进行全面调查，包括人类唯一、机器唯一和混合方法。我们的发现表明，人机协作方法可以匹配甚至超过人类唯一翻译的质量，同时更具成本效益。错误分析揭示了人类和机器贡献的互补优势，凸显了协作方法的有效性。成本分析进一步表明，某些人机协作方法可在约 60% 传统方法成本下实现顶级质量。我们公开了一个包含近 18,000 个不同翻译质量段及其相应人类评分的数据集，以促进未来的研究。
引用
@article{arxiv.2410.11056,
title = {Beyond Human-Only: Evaluating Human-Machine Collaboration for Collecting High-Quality Translation Data},
author = {Zhongtao Liu and Parker Riley and Daniel Deutsch and Alison Lui and Mengmeng Niu and Apu Shah and Markus Freitag},
journal= {arXiv preprint arXiv:2410.11056},
year = {2024}
}