通过忽略伪相关改进零样本神经机器翻译
计算与语言
2019-06-05 v1
摘要
零样本翻译是指在神经机器翻译（NMT）系统从未训练过的语言对之间进行翻译，这是在多语言设置下训练系统时涌现出的一种性质。然而，朴素的零样本 NMT 训练很容易失败，并且对超参数设置敏感。其性能通常远远落后于更传统的基于枢轴的方法，后者使用第三种语言作为枢轴进行两次翻译。在这项工作中，我们通过定量分析源语言 ID 与解码句子语言 ID 之间的互信息，解决了由于捕获伪相关而导致的退化问题。受此分析启发，我们提出使用两种简单但有效的方法：（1）解码器预训练；（2）回译。这些方法在三个具有挑战性的多语言数据集上比朴素零样本翻译有显著改进（4~22 个 BLEU 点），并取得了与基于枢轴的方法相似或更好的结果。
引用
@article{arxiv.1906.01181,
title = {Improved Zero-shot Neural Machine Translation via Ignoring Spurious Correlations},
author = {Jiatao Gu and Yong Wang and Kyunghyun Cho and Victor O. K. Li},
journal= {arXiv preprint arXiv:1906.01181},
year = {2019}
}
备注
Accepted by ACL 2019