正则化在塑造权重与节点剪枝依赖及动态中的作用
图像与视频处理
2020-12-08 v1 计算机视觉与模式识别
机器学习
摘要
降低深度神经网络容量的迫切需求促进了网络稀释方法及其分析的发展。虽然和正则化能够促进稀疏性这一能力常被提及，但正则化在此背景下却很少被讨论。我们提出了一种通过从偏好较小权重置零的概率函数中进行采样来实现权重剪枝的新框架。此外，我们在优化权重剪枝的同时考察了和正则化对节点剪枝动态的贡献。随后，我们展示了所提出的随机框架在与权重衰减正则化器结合使用时，在流行分类模型上的有效性：在MNIST分类的MLP中移除50%的节点，在CIFAR10分类的VGG-16中移除60%的滤波器，以及在医学图像模型中移除用于实例分割的U-Net中60%的通道和用于COVID-19检测的CNN模型中50%的通道。对于这些节点剪枝后的网络，我们还给出了具有竞争力的权重剪枝结果，其准确率仅略低于原始稠密网络。
引用
@article{arxiv.2012.03827,
title = {The Role of Regularization in Shaping Weight and Node Pruning Dependency and Dynamics},
author = {Yael Ben-Guigui and Jacob Goldberger and Tammy Riklin-Raviv},
journal= {arXiv preprint arXiv:2012.03827},
year = {2020}
}