走出奥德赛：分析与结合 LSTM 的最新见解
计算与语言
2016-12-20 v2 人工智能
摘要
LSTM 已成为许多深度自然语言处理模型的基本构建块。近年来，针对深度序列模型，特别是 LSTM，提出了许多改进和变体。我们提出并分析了一系列对 LSTM 网络的增强和修改，从而在文本分类数据集上取得了改进的性能。我们观察到，使用蒙特卡洛测试时模型平均、平均池化和残差连接，以及其他四项建议的修改，在传统 LSTM 上取得了复合改进。我们的分析提供了一个简单、可靠且高质量的基线模型。
引用
@article{arxiv.1611.05104,
title = {A Way out of the Odyssey: Analyzing and Combining Recent Insights for LSTMs},
author = {Shayne Longpre and Sabeek Pradhan and Caiming Xiong and Richard Socher},
journal= {arXiv preprint arXiv:1611.05104},
year = {2016}
}