用于神经机器翻译的语言无关表示器
计算与语言
2018-11-02 v1
摘要
当前的神经机器翻译（NMT）采用特定语言的编码器来表示源句，并采用特定语言的解码器来生成目标译文。这种语言相关的设计导致大规模网络参数，并使平行数据的对偶性未被充分利用。为解决该问题，本文提出一种语言无关表示器，通过权重共享来替代编码器和解码器。该共享表示器不仅能减少大部分网络参数，还使我们能够在多任务学习框架内通过联合训练源到目标、目标到源、左到右和右到左翻译，充分挖掘语言对偶性。实验表明，我们提出的框架仅用四分之一的参数，便能在资源丰富和低资源翻译任务上相较常规NMT模型获得显著提升。
引用
@article{arxiv.1811.00258,
title = {Language-Independent Representor for Neural Machine Translation},
author = {Long Zhou and Yuchen Liu and Jiajun Zhang and Chengqing Zong and Guoping Huang},
journal= {arXiv preprint arXiv:1811.00258},
year = {2018}
}