基于对抗去噪训练的鲁棒无监督神经机器翻译
计算与语言
2020-12-04 v2
摘要
无监督神经机器翻译（UNMT）近来在机器翻译界引起了极大关注。UNMT 的主要优势在于易于收集所需的大规模训练文本句子，且在某些翻译任务上仅比需要昂贵标注翻译对的有监督神经机器翻译性能稍差。在大多数研究中，UMNT 使用干净数据进行训练，未考虑其对噪声数据的鲁棒性。然而，在真实场景中，所收集的输入句子中通常存在噪声，由于 UNMT 对输入句子的微小扰动敏感，这会 degradation 翻译系统的性能。在本文中，我们首次明确将噪声数据纳入考虑，以提升基于 UNMT 的系统的鲁棒性。首先，我们清晰定义了训练句子中的两类噪声，即词噪声与词序噪声，并实证考察了其对 UNMT 的影响；随后我们提出了在 UNMT 中带去噪过程的对抗训练方法。在多个语言对上的实验结果表明，我们所提方法在噪声场景下大幅提升了传统 UNMT 系统的鲁棒性。
引用
@article{arxiv.2002.12549,
title = {Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training},
author = {Haipeng Sun and Rui Wang and Kehai Chen and Xugang Lu and Masao Utiyama and Eiichiro Sumita and Tiejun Zhao},
journal= {arXiv preprint arXiv:2002.12549},
year = {2020}
}
备注
Accepted at COLING 2020