用于神经机器翻译的多尺度协同深度模型
计算与语言
2020-05-12 v3
摘要
近期证据表明，具有更深神经网络的神经机器翻译（NMT）模型可能更有效但难以训练。在本文中，我们提出一种多尺度协同（MSC）框架，以缓解比以往所用模型显著更深的 NMT 模型的训练。我们通过将块尺度协同机制引入深度 NMT 模型，显式地增强从顶层到底层的梯度反向传播。然后，我们不再强制整个编码器栈直接学习期望的表示，而是让每个编码器块学习细粒度表示，并通过使用上下文尺度协同编码空间依赖关系来增强该表示。我们提供的经验证据表明，MSC 网络易于优化，并且可从大幅增加的深度中获得翻译质量的提升。在具有三个翻译方向的 IWSLT 翻译任务上，我们的极深模型（具有 72 层编码器）以 +2.2~+3.1 BLEU 点超越强基线。此外，我们的深度 MSC 在 WMT14 英德任务上取得了 30.56 的 BLEU 分数，显著优于最先进的深度 NMT 模型。
引用
@article{arxiv.2004.14021,
title = {Multiscale Collaborative Deep Models for Neural Machine Translation},
author = {Xiangpeng Wei and Heng Yu and Yue Hu and Yue Zhang and Rongxiang Weng and Weihua Luo},
journal= {arXiv preprint arXiv:2004.14021},
year = {2020}
}
备注
ACL 2020