用于语音识别中基于 LSTM 声学建模的注意力批归一化
音频与语音处理
2020-01-03 v1 声音
摘要
批归一化（BN）是一种加速模型训练并提高神经网络泛化性能的有效方法。在本文中，我们提出了一种改进的批归一化技术，称为注意力批归一化（ABN），用于基于长短期记忆（LSTM）的自动语音识别（ASR）声学建模。在所提方法中，使用一个辅助网络动态生成批归一化中的缩放与平移参数，并引入注意力机制以改善其正则化性能。此外，研究了两种方案：帧级与 utterance 级 ABN。我们分别在普通话和维吾尔语 ASR 任务上评估了所提方法。实验结果表明，所提 ABN 在两种语言的转写准确率方面大幅提升了批归一化的性能。
引用
@article{arxiv.2001.00129,
title = {Attentive batch normalization for lstm-based acoustic modeling of speech recognition},
author = {Fenglin Ding and Wu Guo and Lirong Dai and Jun Du},
journal= {arXiv preprint arXiv:2001.00129},
year = {2020}
}
备注
5 pages,1 figure, submitted to ICASSP 2020