稳定化与加速轻量门控循环单元用于自动语音识别
音频与语音处理
2023-02-21 v1 计算与语言
机器学习
声音
摘要
轻量门控循环单元（Li-GRU）以在自动语音识别（ASR）任务中取得令人印象深刻的成果而著称，同时比标准门控循环单元（GRU）更轻量且训练更快。然而，其候选循环门上修正线性单元的无界特性引发了显著的梯度爆炸现象，扰乱训练过程并阻碍其应用于著名数据集。在本文中，我们从理论与经验上推导其稳定的必要条件，以及将其训练时间加速五倍的工程机制，从而引入该架构的新版本，命名为 SLi-GRU。随后，我们在一个展示其新获能力的玩具任务以及三组不同 ASR 数据集上评估其性能，结果表明相较于更复杂的循环神经网络具有更低的词错误率。
引用
@article{arxiv.2302.10144,
title = {Stabilising and accelerating light gated recurrent units for automatic speech recognition},
author = {Adel Moumen and Titouan Parcollet},
journal= {arXiv preprint arXiv:2302.10144},
year = {2023}
}