$gen$CNN：一种用于词序列预测的卷积架构
计算与语言
2015-04-27 v2
摘要
我们提出一种用于词序列预测的名为 CNN 的新型卷积架构。与基于神经网络的先前语言建模和生成工作（例如 RNN 或 LSTM）不同，我们选择不贪心地将该词历史总结为固定长度向量。相反，我们使用卷积神经网络以可变长度的词历史来预测下一个词。同样不同于现有的用于语言建模的前馈网络，我们的模型能通过专门为该任务设计的卷积-门控策略，有效融合词序列中的局部相关性和全局相关性。我们认为我们的模型能给出充分的历史表示，从而自然利用短程和长程依赖。我们的模型快速、易于训练且易于并行化。我们在文本生成和机器翻译中的 -best 重排序上的大量实验表明，CNN 以较大优势优于最先进水平。
引用
@article{arxiv.1503.05034,
title = {$gen$CNN: A Convolutional Architecture for Word Sequence Prediction},
author = {Mingxuan Wang and Zhengdong Lu and Hang Li and Wenbin Jiang and Qun Liu},
journal= {arXiv preprint arXiv:1503.05034},
year = {2015}
}
备注
Accepted by ACL as full paper(oral)