Netmarble AI Center 参加 WMT21 自动后期编辑共享任务的提交
计算与语言
2021-11-17 v2 人工智能
摘要
本文描述了 Netmarble 向 WMT21 自动后期编辑（APE）共享任务（英德语言对）的提交。首先，我们在训练阶段提出一种课程训练策略。我们选择了 Facebook Fair 的 WMT19 新闻翻译模型来使用大型且强大的预训练神经网络。随后，我们在各训练阶段以不同数据层级对翻译模型进行后训练。随着训练阶段推进，我们通过逐步在各训练阶段添加额外信息，使系统学会解决多任务。我们还展示了一种将大量额外数据用于 APE 任务的方法。为进一步提升，我们在微调阶段应用带动态权重平均的多任务学习策略。为在有限数据下微调 APE 语料，我们添加一些相关子任务以学习统一表示。最后，为获得更好性能，我们在后训练与微调期间利用外部翻译作为增强机器翻译（MT）。实验结果表明，我们的 APE 系统在开发数据集上以 TER 和 BLEU 计分别将所给 MT 结果的翻译显著改善了 -2.848 和 +3.74。它也在测试数据集上展现出比开发数据集更高质量的有效性。
引用
@article{arxiv.2109.06515,
title = {Netmarble AI Center's WMT21 Automatic Post-Editing Shared Task Submission},
author = {Shinhyeok Oh and Sion Jang and Hu Xu and Shounan An and Insoo Oh},
journal= {arXiv preprint arXiv:2109.06515},
year = {2021}
}
备注
WMT21 Automatic Post-Editing Shared Task System Paper (at EMNLP2021 Workshop)