WoodFisher：用于神经网络压缩的高效二阶近似
机器学习
2020-11-26 v5 机器学习
摘要
以 Hessian 或逆 Hessian-向量积形式的二阶信息，是求解优化问题的基本工具。近来，在深度神经网络背景下利用该信息引起了显著兴趣；然而，关于现有近似在此背景下的质量所知相对较少。我们的工作考察了该问题，指出了现有方法的缺陷，并提出了一种称为 WoodFisher 的方法来计算忠实且高效的逆 Hessian 估计。我们的主要应用是神经网络压缩，在此基础上构建了经典的 Optimal Brain Damage/Surgeon 框架。我们证明 WoodFisher 在一次性剪枝上显著优于流行的 SOTA 方法。此外，即便考虑迭代、渐进式剪枝，我们的方法在标准图像分类数据集（如 ImageNet ILSVRC）上训练的热门神经网络（如 ResNet-50、MobileNetV1）的剪枝中，相较 SOTA 方法在测试精度上亦有提升。我们考察了如何将我们的方法扩展以考虑一阶信息，并展示了其自动设定逐层剪枝阈值以及在有限数据机制下执行压缩的能力。代码可在以下链接获取：https://github.com/IST-DASLab/WoodFisher。
引用
@article{arxiv.2004.14340,
title = {WoodFisher: Efficient Second-Order Approximation for Neural Network Compression},
author = {Sidak Pal Singh and Dan Alistarh},
journal= {arXiv preprint arXiv:2004.14340},
year = {2020}
}
备注
NeurIPS 2020