使用带高速层的循环卷积神经网络学习文本表示
计算与语言
2016-08-03 v2 信息检索
摘要
近年来，词嵌入和神经网络的快速发展为各种自然语言处理（NLP）和信息检索（IR）任务带来了新的启发。本文描述了一种将循环卷积神经网络（RCNN）与高速层相结合的阶段性混合模型。集成在中间的高速网络模块接收第一阶段双向循环神经网络（Bi-RNN）模块的输出，并为最后阶段的卷积神经网络（CNN）模块提供输入。实验表明，我们的模型在情感分析任务上优于常见的神经网络模型（CNN、RNN、Bi-RNN）。此外，对序列长度如何影响带高速层的 RCNN 的分析表明，我们的模型能够为长文本学习到良好的表示。
引用
@article{arxiv.1606.06905,
title = {Learning text representation using recurrent convolutional neural network with highway layers},
author = {Ying Wen and Weinan Zhang and Rui Luo and Jun Wang},
journal= {arXiv preprint arXiv:1606.06905},
year = {2016}
}
备注
Neu-IR '16 SIGIR Workshop on Neural Information Retrieval