面向移动端部署的配备 Conv1D 的 ASR 模型的 INT8 Winograd 加速
声音
2020-10-29 v1 计算与语言
音频与语音处理
摘要
自动语音识别（ASR）模型的大量计算阻碍了其部署在移动设备上。本文提出了一种新颖的量化 Winograd 优化流水线，其结合量化与快速卷积，以实现 ASR 模型在移动设备上的高效推理加速。为避免量化与 Winograd 卷积结合造成的信息损失，提出了一种范围缩放量化（RSQ）训练方法，以扩展量化数值范围并从高精度值中蒸馏知识。此外，设计了一种改进的配备 Conv1D 的 DFSMN（ConvDFSMN）模型用于移动端部署。我们在 ConvDFSMN 和 Wav2letter 模型上进行了广泛实验。结果表明，所提流水线可有效优化模型。特别地，Wav2letter 在基于 ARMv7 的移动设备上实现了 1.48 倍加速，且词错率（WER）仅下降约 0.07%。
引用
@article{arxiv.2010.14841,
title = {INT8 Winograd Acceleration for Conv1D Equipped ASR Models Deployed on Mobile Devices},
author = {Yiwu Yao and Yuchao Li and Chengyu Wang and Tianhang Yu and Houjiang Chen and Xiaotang Jiang and Jun Yang and Jun Huang and Wei Lin and Hui Shu and Chengfei Lv},
journal= {arXiv preprint arXiv:2010.14841},
year = {2020}
}