一种用于网络瘦身的原邻近算法
计算机视觉与模式识别
2024-01-31 v2
摘要
作为卷积神经网络（CNNs）的一种流行通道剪枝方法，网络瘦身（NS）具有三阶段流程：（1）以施加于批归一化层缩放因子的 正则化训练 CNN；（2）移除缩放因子低于所选阈值的通道；（3）重新训练剪枝后的模型以恢复原始精度。这种耗时的三步流程是使用次梯度下降训练 CNN 的结果。由于次梯度下降不能精确地将 CNN 训练为稀疏且精确的架构，后两步是必要的。此外，次梯度下降没有任何收敛保证。因此，我们开发了一种称为近端网络瘦身（proximal NS）的替代算法。我们提出的算法将 CNN 训练为稀疏且精确的架构，因此无需确定缩放因子阈值，且对剪枝后 CNN 的微调是可选的。利用 Kurdyka-{\L}ojasiewicz 假设，我们建立了近端 NS 的全局收敛性。最后，我们在 CIFAR 10/100 上的 VGGNet、DenseNet 和 ResNet 上验证了所提算法的有效性。我们的实验表明，经过一轮训练后，近端 NS 得到的 CNN 具有具有竞争力的精度和压缩率。
引用
@article{arxiv.2307.00684,
title = {A Proximal Algorithm for Network Slimming},
author = {Kevin Bui and Fanghui Xue and Fredrick Park and Yingyong Qi and Jack Xin},
journal= {arXiv preprint arXiv:2307.00684},
year = {2024}
}
备注
accepted to LOD'23; fixed typo