基于胶囊网络实现线性时间神经机器翻译的探索
计算与语言
2020-10-13 v4
摘要
在本研究中，我们首先探讨了一种用于线性时间神经机器翻译（NMT）的具有动态路由的新颖胶囊网络，称为 \textsc{CapsNMT}。\textsc{CapsNMT} 使用聚合机制将源句子映射为具有预定大小的矩阵，然后应用深层 LSTM 网络从源表示解码目标序列。与先前工作 \cite{sutskever2014sequence} 以被动的自底向上方式存储源句子不同，动态路由策略通过迭代过程对源句子进行编码，以确定较低层与较高层节点之间的贡献归属。\textsc{CapsNMT} 具有两个核心特性：其运行时间与序列长度呈线性关系，并提供了一种更灵活的方式来选择、表示和聚合源句子的部分-整体信息。在 WMT14 英德任务和更大的 WMT14 英法任务上，\textsc{CapsNMT} 取得了与最先进 NMT 系统相当的结果。据我们所知，这是首次对胶囊网络用于序列到序列问题进行的实证探究。
引用
@article{arxiv.1811.00287,
title = {Towards Linear Time Neural Machine Translation with Capsule Networks},
author = {Mingxuan Wang and Jun Xie and Zhixing Tan and Jinsong Su and Deyi Xiong and Lei Li},
journal= {arXiv preprint arXiv:1811.00287},
year = {2020}
}
备注
Accepted as EMNLP2019