面向自动语音识别的动态稀疏神经网络
音频与语音处理
2021-02-09 v3 计算与语言
机器学习
声音
摘要
在自动语音识别（ASR）中，模型剪枝是一种被广泛采用的技术，用于缩减模型规模与延迟，以在资源受限的边缘设备上部署神经网络模型。然而，通常需分别训练并部署具有不同稀疏度水平的多个模型，以适配具有不同资源规格的异构目标硬件以及具有不同延迟需求的应用。本文提出动态稀疏神经网络（DSNN），其一经训练便可在运行时即时切换至任何预定义的稀疏度配置。我们利用基于 Google 语音搜索数据的内部生产数据集实验，展示了 DSNN 的有效性与灵活性，并表明 DSNN 模型的性能与单独训练的单稀疏度网络相当。因此，我们训练好的 DSNN 模型可极大简化训练流程，并便利在多样资源受限场景中的部署。
引用
@article{arxiv.2005.10627,
title = {Dynamic Sparsity Neural Networks for Automatic Speech Recognition},
author = {Zhaofeng Wu and Ding Zhao and Qiao Liang and Jiahui Yu and Anmol Gulati and Ruoming Pang},
journal= {arXiv preprint arXiv:2005.10627},
year = {2021}
}
备注
ICASSP 2021. (c) 2021 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works