具有语言无关注意力桥的多语言神经机器翻译
计算与语言
2019-10-29 v1
摘要
在本文中，我们提出了一种多语言编码器-解码器架构，通过引入一个跨所有语言共享的中间注意力桥（attention bridge），能够获得多语言句子表示。具体而言，我们使用特定语言的编码器和解码器训练模型，它们通过自注意力与一个共享层（我们称之为注意力桥）相连。该层利用每种语言的语义来执行翻译，并发展成为一种语言无关的意义表示，可高效地用于迁移学习。我们提出了一种利用该模型和调度训练高效开发多语言 NMT 的新框架。我们使用多平行数据集对方法进行了系统性测试。我们表明，该模型相比强双语模型取得了显著提升，并且在零样本翻译中也表现良好，这证明了其抽象与迁移学习能力。
引用
@article{arxiv.1811.00498,
title = {Multilingual NMT with a language-independent attention bridge},
author = {Raúl Vázquez and Alessandro Raganato and Jörg Tiedemann and Mathias Creutz},
journal= {arXiv preprint arXiv:1811.00498},
year = {2019}
}