关键词 spotting 中的权重重要性稀疏训练
机器学习
2018-07-10 v3 计算与语言
机器学习
摘要
近期的自动语音识别（ASR）系统中采用了大型模型以应对复杂的语音识别问题。这些模型的参数数量使其难以部署，尤其是在车载平板等资源受限设备上。此外，ASR 系统大多数时间用于处理关键词 spotting（KWS）等实时问题，这与大型模型需要较长计算时间的事实相矛盾。为应对该问题，我们应用一些稀疏算法来减少一些广泛使用的、要求极短计算时间的 Deep Neural Network (DNN) KWS 模型中的参数数量。我们能够在性能下降极小的情况下剪枝超过 90% 甚至 95% 的模型参数。并且该稀疏模型的表现优于参数数量同量级（相同数量级）的基线模型。此外，稀疏算法能使我们在不关心初始模型尺寸选择的情况下，针对特定问题自动找到合理的模型大小。
引用
@article{arxiv.1807.00560,
title = {Weight-importance sparse training in keyword spotting},
author = {Sihao Xue and Zhenyi Ying and Fan Mo and Min Wang and Jue Sun},
journal= {arXiv preprint arXiv:1807.00560},
year = {2018}
}