DivEMT:跨类型多样语言的神经机器翻译译后编辑努力
计算与语言
2023-09-08 v2
摘要
我们介绍 DivEMT,这是首个公开可用的、针对类型学多样目标语言的神经机器翻译(NMT)译后编辑研究。在严格控制的设置下,18 名专业译员被指示将同一组英文文档翻译或译后编辑为阿拉伯语、荷兰语、意大利语、土耳其语、乌克兰语和越南语。在此过程中,记录其编辑、击键、编辑时间与停顿,从而实现对 NMT 质量与译后编辑有效性的深入跨语言评估。利用这一新数据集,我们评估了两个最先进 NMT 系统(Google Translate 与多语言 mBART-50 模型)对翻译生产力的影响。我们发现译后编辑始终快于从头翻译。然而,生产力提升的幅度在系统与语言间差异很大,突显了即便在控制系统架构与训练数据规模的情况下,与英语类型学亲缘程度不同的语言在译后编辑有效性上的主要差异。我们公开发布包含全部所收集行为数据的完整数据集,以促进关于 NMT 系统对类型学多样语言翻译能力的新研究。
引用
@article{arxiv.2205.12215,
title = {DivEMT: Neural Machine Translation Post-Editing Effort Across Typologically Diverse Languages},
author = {Gabriele Sarti and Arianna Bisazza and Ana Guerberof Arenas and Antonio Toral},
journal= {arXiv preprint arXiv:2205.12215},
year = {2023}
}
备注
EMNLP 2022, materials: https://github.com/gsarti/divemt