权重、块还是单元？探索微型神经加速器上语音增强的稀疏性权衡
声音
2021-11-11 v2 机器学习
音频与语音处理
摘要
我们探索网络稀疏化策略，旨在将神经语音增强(SE)压缩至针对新一代基于低功耗微控制器的神经加速器(microNPU)的最优配置。我们考察了三种独特的稀疏结构：权重剪枝、块剪枝和单元剪枝；并讨论它们在应用于SE时的优点与缺点。我们关注计算吞吐量、内存占用和模型质量之间的相互作用。我们的方法支持上述三种结构，并联合学习整数量化权重与稀疏性。此外，我们展示了整数量化模型的离线基于幅度的剪枝作为性能基线。尽管高效语音增强是一个活跃的研究领域，我们的工作是首个将块剪枝应用于SE、并首个在microNPU背景下解决SE模型压缩的工作。使用权重剪枝，我们展示能够将已紧凑模型的内存占用从3.7MB压缩至87kB，压缩因子达42倍，而性能仅损失0.1 dB SDR。我们还展示了使用块剪枝获得6.7倍的计算加速，相应的SDR下降仅0.59 dB SDR。
引用
@article{arxiv.2111.02351,
title = {Weight, Block or Unit? Exploring Sparsity Tradeoffs for Speech Enhancement on Tiny Neural Accelerators},
author = {Marko Stamenovic and Nils L. Westhausen and Li-Chia Yang and Carl Jensen and Alex Pawlicki},
journal= {arXiv preprint arXiv:2111.02351},
year = {2021}
}
备注
To appear in NeurIPS 2021 Efficient Natural Langauge and Speech Processing Workshop as oral-spotlight presentation