面向深度神经机器翻译模型的共生网络联合训练
计算与语言
2021-12-23 v1 人工智能
摘要
深度编码器已被证明对改进神经机器翻译（NMT）系统有效，但当编码器层数超过 18 时，翻译质量达到上限。更糟的是，更深的网络消耗大量内存，使高效训练变得不可能。本文提出共生网络，其包含一个作为共生主网络（M-Net）的完整网络，以及另一个结构相同但层数更少的共享子网络作为共生子网络（S-Net）。我们在 Transformer-deep (m-n) 架构上采用共生网络，并定义 M-Net 与 S-Net 之间在 NMT 中的特定正则化损失 。我们对共生网络进行联合训练，旨在提升 M-Net 性能。我们提出的训练策略在 WMT'14 EN->DE、DE->EN 和 EN->FR 任务上，相较经典训练基线，以 0.61、0.49 和 0.69 BLEU 提升 Transformer-deep (12-6)。此外，我们的 Transformer-deep (12-6) 甚至优于经典 Transformer-deep (18-6)。
引用
@article{arxiv.2112.11642,
title = {Joint-training on Symbiosis Networks for Deep Nueral Machine Translation models},
author = {Zhengzhe Yu and Jiaxin Guo and Minghan Wang and Daimeng Wei and Hengchao Shang and Zongyao Li and Zhanglin Wu and Yuxia Wang and Yimeng Chen and Chang Su and Min Zhang and Lizhi Lei and shimin tao and Hao Yang},
journal= {arXiv preprint arXiv:2112.11642},
year = {2021}
}