基于 ReLU 稳定性的精确神经网络压缩扩展
机器学习
2021-10-29 v4 最优化与控制
摘要
如果某些神经元是稳定的，我们就可以在给定输入域上精确保持整流网络的功能的同时对其进行压缩。然而，当前确定具有整流线性单元（ReLU）激活的神经元稳定性的方法需要求解或找到多个离散优化问题的良好近似。在这项工作中，我们引入了一种基于求解单个优化问题来识别所有稳定神经元的算法。我们的方法在 CIFAR-10 上比最先进的方法快中位数 183 倍，这使得我们能够在几分钟内探索更深（5×100）和更宽（2×800）网络上的精确压缩。对于在不会降低准确性的一定量的 L1 正则化下训练的分类器，我们可以在 CIFAR-10 数据集上移除多达 56% 的连接。代码可在以下链接获取：https://github.com/yuxwind/ExactCompression。
引用
@article{arxiv.2102.07804,
title = {Scaling Up Exact Neural Network Compression by ReLU Stability},
author = {Thiago Serra and Xin Yu and Abhinav Kumar and Srikumar Ramalingam},
journal= {arXiv preprint arXiv:2102.07804},
year = {2021}
}
备注
NeurIPS 2021