乱序翻译问题：无监督神经机器翻译去噪中的一个问题
计算与语言
2021-06-18 v2 机器学习
机器学习
摘要
本文中，我们指出了诸如 \textit{Undreamt} 之类的无监督神经机器翻译(UNMT)系统输出中一种有趣的误差类型。我们将此类误差称为 \textit{乱序翻译问题}。我们观察到，使用 \textit{词打乱} 噪声（如Undreamt中的情况）的UNMT模型能够生成正确的词，却无法将它们拼接成短语。结果，翻译句子的词看起来是“乱序”的，导致BLEU下降。我们推测，\textit{乱序翻译问题} 背后的原因是作为去噪策略引入每个输入句子的“打乱噪声”。为验证该假设，我们通过一种简单的 \textit{重训练} 策略重新训练UNMT模型进行实验。我们在预先决定的迭代次数后停止去噪UNMT模型的训练，并以原始句子为输入、不添加任何噪声，继续剩余（同样预先决定次数）的迭代训练。我们提出的方案相比常规训练的UNMT模型取得了显著的性能提升。我们在四个语言对（即英语-法语、英语-德语、英语-西班牙语、 Hindi-旁遮普语）上展示了这些性能增益。我们的定性与定量分析表明，重训练策略有助于获得更好的对齐（由注意力热图观测）和更好的短语级翻译，从而带来统计显著的BLEU分数提升。
引用
@article{arxiv.1911.01212,
title = {Scrambled Translation Problem: A Problem of Denoising UNMT},
author = {Tamali Banerjee and Rudra Murthy and Pushpak Bhattacharyya},
journal= {arXiv preprint arXiv:1911.01212},
year = {2021}
}
备注
Accepted by MT Summit 2021