关键词 spotting 系统及在低功耗边缘微控制器上剪枝与量化方法的评估
声音
2022-08-05 v1 人工智能
硬件体系结构
音频与语音处理
摘要
关键词 spotting（KWS）有利于在边缘端通过语音与低功耗设备进行用户交互。边缘设备通常始终开启，因此边缘计算带来了带宽节省和隐私保护。这些设备通常具有有限的内存空间、计算性能、功耗和成本，例如基于 Cortex-M 的微控制器。挑战在于在这些设备上满足深度学习的高计算量和低延迟要求。本文首先展示了我们的小 footprint KWS 系统运行在带有 Cortex-M7 核心 @216MHz 和 512KB 静态 RAM 的 STM32F7 微控制器上。我们选定的卷积神经网络（CNN）架构简化了 KWS 的操作数量，以满足边缘设备的约束。我们的基线系统每 37ms 生成分类结果，包括实时音频特征提取部分。本文进一步评估了微控制器上不同剪枝和量化方法的实际性能，包括不同粒度的稀疏性、跳过零权重、权重优先的循环顺序以及 SIMD 指令。结果表明，对于微控制器而言，加速非结构化剪枝模型存在相当大的挑战，且结构化剪枝比非结构化剪枝更友好。结果还验证了量化和 SIMD 指令带来的性能提升。
引用
@article{arxiv.2208.02765,
title = {Keyword Spotting System and Evaluation of Pruning and Quantization Methods on Low-power Edge Microcontrollers},
author = {Jingyi Wang and Shengchen Li},
journal= {arXiv preprint arXiv:2208.02765},
year = {2022}
}
备注
Submitted to DCASE2022 Workshop. Code available at: https://github.com/RoboBachelor/Keyword-Spotting-STM32