语音识别中门控循环神经网络的记忆可视化
机器学习
2017-02-28 v3 计算与语言
神经与进化计算
摘要
循环神经网络 (RNN) 在序列建模中展现出明显的优越性，尤其是带有门控单元的网络，如长短期记忆 (LSTM) 和门控循环单元 (GRU)。然而，在许多应用（例如自动语音识别 (ASR)）中，其卓越性能背后的动态特性仍不清楚。本文采用可视化技术研究 LSTM 和 GRU 在执行语音识别任务时的行为。我们的实验在门控记忆中展示了一些有趣的模式，其中一些启发了对网络结构简单而有效的修改。我们报告了其中两项修改：(1) LSTM 中的惰性单元更新，以及 (2) 用于残差学习的捷径连接。这两项修改都使得网络更易理解且更强大。
引用
@article{arxiv.1609.08789,
title = {Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition},
author = {Zhiyuan Tang and Ying Shi and Dong Wang and Yang Feng and Shiyue Zhang},
journal= {arXiv preprint arXiv:1609.08789},
year = {2017}
}
备注
ICASSP 2017