探索通道稀疏度对声学场景分类神经网络剪枝的影响
声音
2023-07-21 v2 音频与语音处理
摘要
声学场景分类（ASC）算法通常预期部署于资源受限系统中。现有工作通过剪枝某些组件（如剪枝神经网络中的通道）来降低 ASC 算法复杂度。实践中，神经网络常经稀疏化训练以发现不重要通道并进一步剪枝。然而，鲜有工作探究通道稀疏度对神经网络剪枝的影响。为充分利用剪枝对 ASC 的益处并确保模型表现一致，我们需要更深入理解通道稀疏化及其效应。本文考察了将经历剪枝的卷积神经网络所获取的内部权重。研究讨论了如何利用这些权重创建一种称为权重偏度（WS）的新度量以量化通道稀疏度。我们还提供了一种比较不同剪枝方法性能的新途径，其平衡了精度与复杂度之间的权衡。实验结果表明：1) 对模型施加更高通道稀疏度可在保持可接受精度水平的同时实现更高压缩率；2) 剪枝方法的选择对结果 1) 影响甚微；3) MobileNets 比 VGGNets 和 ResNets 从通道稀疏化中获益更显著。
引用
@article{arxiv.2210.15960,
title = {Exploring the Effects of Channel Sparsity on Neural Network Pruning for Acoustic Scene Classification},
author = {Yiqiang Cai and Shengchen Li},
journal= {arXiv preprint arXiv:2210.15960},
year = {2023}
}
备注
Accepted by CSMT 2023