FreezeNet：以更低存储代价实现完整性能
机器学习
2022-03-17 v1 计算机视觉与模式识别
摘要
剪枝通过将参数置零来生成稀疏网络。在本工作中，我们改进了训练前应用的一次性剪枝方法，在不增加任何额外存储开销的同时保留稀疏梯度计算。与剪枝的主要区别在于，我们不对网络权重进行稀疏化，而是仅学习少数关键参数，并将其余参数固定在其随机初始化值上。这一机制称为参数冻结。那些冻结的权重可通过一个 32 位随机数种子高效地存储。待冻结的参数由训练开始前的一次前向与反向传播一次性确定。我们将所引入的方法称为 FreezeNet。在我们的实验中，我们表明 FreezeNet 取得了良好的结果，尤其在极端冻结率下。冻结权重保持了梯度在网络中的流动，因此与对应的剪枝网络相比，FreezeNet 训练更好且容量更大。在 MNIST 与 CIFAR-10/100 分类任务上，我们优于 SNIP——在该设定下为训练前应用的最佳报道一次性剪枝方法。在 MNIST 上，FreezeNet 达到了基线 LeNet-5-Caffe 架构 99.2% 的性能，同时将训练和存储的参数数量压缩了 157 倍。
引用
@article{arxiv.2011.14087,
title = {FreezeNet: Full Performance by Reduced Storage Costs},
author = {Paul Wimmer and Jens Mehnert and Alexandru Condurache},
journal= {arXiv preprint arXiv:2011.14087},
year = {2022}
}
备注
Conference Paper of the Asian Conference on Computer Vision (ACCV) 2020