用于序列到序列学习的双路径网络
计算与语言
2018-07-05 v2
摘要
基于编码器-解码器的序列到序列学习（S2S）近年来取得了显著进展。编码器/解码器中使用了不同的网络架构，其中卷积神经网络（CNN）和自注意力网络（SAN）是突出的代表。这两种架构取得了相近的性能，但采用非常不同的方式对上下文进行编码和解码：CNN 使用卷积层关注序列的局部连接性，而 SAN 使用自注意力层关注全局语义。在本工作中，我们提出用于序列到序列学习的双路径网络（DPN-S2S），它通过双路径信息融合来利用两种模型的优势。在编码步骤中，我们开发了双路径架构，以分别用卷积层和自注意力层保持来自不同路径的信息。为了有效利用编码后的上下文，我们开发了带门控的交叉注意力模块，并用它在解码步骤中自动提取所需信息。通过交叉注意力将两条路径深度整合，两类信息被结合并充分利用。实验表明，我们提出的方法相比最先进的系统在序列到序列学习上能显著提升性能。
引用
@article{arxiv.1806.04856,
title = {Double Path Networks for Sequence to Sequence Learning},
author = {Kaitao Song and Xu Tan and Di He and Jianfeng Lu and Tao Qin and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1806.04856},
year = {2018}
}
备注
11 pages, to appear in COLING 2018