基于路由一致性的神经机器翻译动态层聚合
计算与语言
2019-02-18 v1 人工智能
摘要
随着深度神经网络的显著进展，层聚合已被用于在计算机视觉和机器翻译等各个领域融合跨层信息。然而，以往的大多数方法以静态方式组合层，即其聚合策略独立于特定的隐藏状态。受胶囊网络近期进展的启发，本文提出使用路由一致性策略来动态聚合层。具体而言，该算法以迭代方式学习部分（单个层表示）被分配给整体（聚合表示）的概率，并据此组合各部分。我们在最先进的神经机器翻译模型 TRANSFORMER 之上实现了该算法，并在广泛使用的 WMT14 英德和 WMT17 中英翻译数据集上进行了实验。跨语言对的实验结果表明，所提方法始终优于强基线模型和代表性的静态聚合模型。
引用
@article{arxiv.1902.05770,
title = {Dynamic Layer Aggregation for Neural Machine Translation with Routing-by-Agreement},
author = {Zi-Yi Dou and Zhaopeng Tu and Xing Wang and Longyue Wang and Shuming Shi and Tong Zhang},
journal= {arXiv preprint arXiv:1902.05770},
year = {2019}
}
备注
AAAI 2019