用于零样本神经机器翻译的变长神经中间语言表示
计算与语言
2023-05-18 v1
摘要
多语言神经机器翻译 (MNMT) 模型中编码表示的语言独立性，对于其在零样本翻译上的泛化能力至关重要。神经中间语言表示已被证明是实现这一目标的有效方法。然而，先前工作中引入的定长神经中间语言表示会限制其灵活性与表示能力。本研究中，我们引入了一种新方法，通过使神经中间语言表示的长度可变来增强其能力，从而克服定长神经中间语言表示的约束。我们在 OPUS、IWSLT 和 Europarl 数据集上的零样本翻译实证结果表明，与定长神经中间语言表示相比，该方法实现了稳定的模型收敛以及更优的零样本翻译结果。然而，我们的分析揭示了该方法在翻译某些源语言时效能欠佳，并据此定位了我们所提方法中存在缺陷的模型组件。
引用
@article{arxiv.2305.10190,
title = {Variable-length Neural Interlingua Representations for Zero-shot Neural Machine Translation},
author = {Zhuoyuan Mao and Haiyue Song and Raj Dabre and Chenhui Chu and Sadao Kurohashi},
journal= {arXiv preprint arXiv:2305.10190},
year = {2023}
}
备注
Accepted to Multi3Generation workshop (held in conjunction with EAMT 2023)