加速基于循环神经网络语言模型的在线语音识别系统
计算与语言
2018-01-31 v1 机器学习
摘要
本文提出用于加速在线语音识别系统中基于循环神经网络的语言模型（RNNLMs）的方法。首先，引入带缓存的过去隐藏层输出（历史向量）有损压缩，以减少 LM 查询次数。接着，以 CPU-GPU 混合方式部署 RNNLM 计算，在更具优势的平台计算模型的每一层。CPU 与 GPU 间数据交换带来的额外开销通过逐帧批处理策略得到补偿。在 LibriSpeech 测试集上对所提方法的评估表明，历史向量精度的降低以最小的精度下降换取了平均识别速度 1.23 倍的提升。另一方面，CPU-GPU 混合并行化实现了基于 RNNLM 的实时识别，速度提升四倍。
引用
@article{arxiv.1801.09866,
title = {Accelerating recurrent neural network language model based online speech recognition system},
author = {Kyungmin Lee and Chiyoun Park and Namhoon Kim and Jaewon Lee},
journal= {arXiv preprint arXiv:1801.09866},
year = {2018}
}
备注
4 pages, 4 figures, 3 tables, ICASSP2018(Accepted)