CNN即你所需要的一切
计算与语言
2017-12-29 v1 机器学习
神经与进化计算
摘要
卷积神经网络（CNN）已在音频、图像和文本学习中展现出独特优势；近来它还在序列到序列学习中向带有长短期记忆单元（LSTM）的循环神经网络（RNN）发起挑战，因为CNN涉及的计算易于并行化，而RNN涉及的计算大多是顺序的，导致性能瓶颈。然而，与RNN不同，原生CNN缺乏序列变换所需的历史敏感性；因此增强顺序顺序感知或位置敏感性，成为使CNN成为通用深度学习模型的关键。本工作中我们引入一种增强了位置敏感性的扩展CNN模型，称为PoseNet。PoseNet的一个显著特征是在编码器和解码器中对位置信息的不对称处理。实验表明，PoseNet使我们能够显著提升基于CNN的序列到序列学习的准确率，在WMT 2014英德翻译任务上取得约33-36的BLEU分数，在英法翻译任务上取得约44-46的BLEU分数。
引用
@article{arxiv.1712.09662,
title = {CNN Is All You Need},
author = {Qiming Chen and Ren Wu},
journal= {arXiv preprint arXiv:1712.09662},
year = {2017}
}