通过改进门控循环单元提升语音识别
计算与语言
2017-10-03 v1 人工智能
机器学习
神经与进化计算
摘要
语音识别在很大程度上受益于深度学习，表明现代循环神经网络（RNNs）可带来显著收益。最流行的 RNN 是长短期记忆（LSTMs），凭借学习长期依赖的能力和对梯度消失的鲁棒性，通常在许多任务中达到最先进性能。然而，LSTMs 设计相当复杂，具有三个乘法门，可能影响其高效实现。近期简化 LSTMs 的尝试导致了门控循环单元（GRUs），其仅基于两个乘法门。本文在这些努力下进一步修订 GRUs，提出一种可能更适用于语音识别的简化架构。本工作的贡献有两方面。首先，我们建议移除 GRU 设计中的重置门，从而产生更高效的单门架构。其次，我们提议在状态更新方程中用 ReLU 激活替换 tanh。结果表明，在我们的实现中，与标准 GRU 相比，修订后的架构减少了超过 30% 的每轮训练时间，并在不同任务、输入特征和噪声条件下持续提高识别性能。
引用
@article{arxiv.1710.00641,
title = {Improving speech recognition by revising gated recurrent units},
author = {Mirco Ravanelli and Philemon Brakel and Maurizio Omologo and Yoshua Bengio},
journal= {arXiv preprint arXiv:1710.00641},
year = {2017}
}