一种利用 Gibbs 分布的神经网络剪枝框架
机器学习
2021-12-30 v2 机器学习
摘要
现代深度神经网络通常过大，无法用于许多实际场景。神经网络剪枝是缩减此类模型规模并加速推断的重要技术。Gibbs 剪枝是一种用于表达与设计神经网络剪枝方法的新框架。它结合统计物理与随机正则化方法，能够同时训练与剪枝网络，使学习到的权重与剪枝掩码彼此良好适配。它可用于结构化或非结构化剪枝，且我们针对每种提出了若干具体方法。我们将所提方法与若干当代神经网络剪枝方法比较，发现 Gibbs 剪枝优于它们。特别地，我们在使用 CIFAR-10 数据集剪枝 ResNet-56 上取得了新的 SOTA 结果。
引用
@article{arxiv.2006.04981,
title = {A Framework for Neural Network Pruning Using Gibbs Distributions},
author = {Alex Labach and Shahrokh Valaee},
journal= {arXiv preprint arXiv:2006.04981},
year = {2021}
}
备注
v1 was presented at IEEE GLOBECOM 2020. v2 is a substantially expanded revision, also written in 2020