通过批量归一化与扩大上下文改进基于门控循环单元的声学建模
计算与语言
2018-11-27 v1 音频与语音处理
摘要
使用未来上下文信息通常被证明有助于声学建模。近期，我们提出了一种称为带输入投影的最小门控循环单元(mGRUIP)的 RNN 模型，其中专门设计了一个称为时间卷积的上下文模块来建模未来上下文。该带有上下文模块的模型(mGRUIP-Ctx)已被证明能有效利用未来上下文，同时具有极低的模型延迟与计算代价。本文中，我们通过两处改进继续提升 mGRUIP-Ctx：应用 BN 方法与扩大模型上下文。在两项中文 ASR 任务(8400 小时与 60K 小时)上的实验结果表明，改进后的 mGRUIP-Ctx 以较大优势(11% 至 38%)优于 LSTM。它甚至在 8400h 任务上略优于一个更优的 BLSTM，且参数少 33M、模型延迟仅 290ms。
引用
@article{arxiv.1811.10169,
title = {Improving Gated Recurrent Unit Based Acoustic Modeling with Batch Normalization and Enlarged Context},
author = {Jie Li and Yahui Shan and Xiaorui Wang and Yan Li},
journal= {arXiv preprint arXiv:1811.10169},
year = {2018}
}
备注
ISCSLP 2018