用于语音识别的轻量级门控循环单元
音频与语音处理
2018-03-29 v1 神经与进化计算
声音
信号处理
摘要
直接受益于深度学习近期进展的一个领域是自动语音识别 (ASR)。然而，尽管过去几十年取得了巨大成就，自然且鲁棒的人机语音交互似乎仍然遥不可及，尤其是在以显著噪声和混响为特征的复杂环境中。为了提高鲁棒性，现代语音识别器通常采用基于循环神经网络 (RNN) 的声学模型，这些模型天然能够利用大的时间上下文和长期语音调制。因此，继续研究提高 RNN 处理语音信号有效性的适当技术具有重要意义。本文修正了最流行的 RNN 模型之一，即门控循环单元 (GRU)，并提出了一种对 ASR 非常有效的简化架构。本工作的贡献有两方面：首先，我们分析了重置门的作用，表明其与更新门存在显著冗余。因此，我们建议从 GRU 设计中移除前者，从而得到更高效、紧凑的单门模型。其次，我们建议用 ReLU 激活函数替换双曲正切。这一变体与批归一化很好地结合，有助于模型在没有数值问题的情况下学习长期依赖关系。结果表明，所提出的称为 Light GRU (Li-GRU) 的架构，不仅比标准 GRU 减少了超过 30% 的每轮训练时间，而且在不同的任务、输入特征、噪声条件以及不同的 ASR 范式（从标准 DNN-HMM 语音识别器到端到端 CTC 模型）中均持续提高了识别准确率。
引用
@article{arxiv.1803.10225,
title = {Light Gated Recurrent Units for Speech Recognition},
author = {Mirco Ravanelli and Philemon Brakel and Maurizio Omologo and Yoshua Bengio},
journal= {arXiv preprint arXiv:1803.10225},
year = {2018}
}
备注
Copyright 2018 IEEE