DropNet：通过迭代剪枝降低神经网络复杂度
机器学习
2022-07-15 v1 人工智能
摘要
现代深度神经网络在训练和部署时需要大量的计算时间与算力，这限制了其在边缘设备上的使用。受彩票假设中迭代权重剪枝的启发，我们提出 DropNet，一种通过剪除节点/滤波器以降低网络复杂度的迭代剪枝方法。DropNet 迭代地移除在所有训练样本上平均激活后数值最低的节点/滤波器。经验上，我们表明 DropNet 在多种场景下均具鲁棒性，包括使用 MNIST、CIFAR-10 和 Tiny ImageNet 数据集的 MLP 与 CNN。我们展示可移除多达 90% 的节点/滤波器而不造成任何显著的精度损失。即便对权重与偏置重新初始化，最终的剪枝网络仍表现良好。DropNet 的精度也与一种贪心地逐个移除节点/滤波器以最小化训练损失的 oracle 相近，凸显了其有效性。
引用
@article{arxiv.2207.06646,
title = {DropNet: Reducing Neural Network Complexity via Iterative Pruning},
author = {John Tan Chong Min and Mehul Motani},
journal= {arXiv preprint arXiv:2207.06646},
year = {2022}
}
备注
Published at ICML 2020. Code can be found at https://github.com/tanchongmin/DropNet