一种基于能量模型的深度神经网络剪枝框架
神经与进化计算
2021-03-01 v1
摘要
典型的深度神经网络（DNN）具有大量可训练参数。选择具有适当容量的网络颇具挑战，通常会训练一个容量过大的较大网络。剪枝是一种减少 DNN 中参数数量的成熟方法。本文中，我们提出一种基于群体全局优化方法的 DNN 剪枝框架。该框架可使用任意剪枝目标函数。作为案例研究，我们基于能量模型的概念提出了一种简单但高效的目标函数。我们在 ResNets、AlexNet 和 SqueezeNet 上针对 CIFAR-10 与 CIFAR-100 数据集的实验表明，可剪除超过 的可训练参数，而 Top-1 与 Top-5 分类准确率分别仅下降约 与 。
引用
@article{arxiv.2102.13188,
title = {A Framework For Pruning Deep Neural Networks Using Energy-Based Models},
author = {Hojjat Salehinejad and Shahrokh Valaee},
journal= {arXiv preprint arXiv:2102.13188},
year = {2021}
}
备注
This paper is accepted for presentation at IEEE International Conference on Acoustics, Speech and Signal Processing (IEEE ICASSP), 2021. arXiv admin note: text overlap with arXiv:2006.04270, arXiv:2102.05437