面向紧凑型深度神经网络的能量感知剪枝方法
计算机视觉与模式识别
2022-03-11 v2 机器学习
摘要
尽管现代深度神经网络性能卓越，但其学习与部署不可避免地伴随大量计算开销，这可能使其无法在边缘设备上使用。近期减少这些开销的努力包括在不损害性能的前提下剪枝和分解各层参数。受若干分解研究启发，本文提出一种新颖的能量感知剪枝方法，利用核范数（NN）量化网络中各滤波器的重要性。所提出的能量感知剪枝在CIFAR-10和ImageNet上经细粒度分类任务、多种网络架构的广泛场景中，于Top-1准确率、FLOPs和参数量缩减方面均达到最先进性能。在玩具实验中，无需微调即可直观观察到NN在各类别间决策边界上的微小变化，且优于先前流行准则。我们在CIFAR-10上以ResNet-56/110分别实现了94.13/94.61%的Top-1准确率，同时削减40.4/49.8%的FLOPs和45.9/52.9%的参数量。此外，我们的观测在不同剪枝设置（涉及数据规模与数据质量）下均一致，这体现在加速与压缩的稳定性及可忽略的精度损失上。
引用
@article{arxiv.2103.10858,
title = {Toward Compact Deep Neural Networks via Energy-Aware Pruning},
author = {Seul-Ki Yeom and Kyung-Hwan Shim and Jee-Hyun Hwang},
journal= {arXiv preprint arXiv:2103.10858},
year = {2022}
}
备注
10 pages, 5 figures, 3 tables