EigenDamage：基于Kronecker因子化特征基的结构化剪枝
机器学习
2019-05-16 v1 机器学习
摘要
在保持测试精度的同时降低神经网络在测试时的资源需求，对于在资源受限设备上运行推理至关重要。为实现这一目标，我们提出了一种基于Kronecker因子化特征基（KFE）的新型网络重参数化方法，并在该基下应用基于Hessian的结构化剪枝方法。与现有的在参数坐标下进行剪枝的基于Hessian的剪枝算法不同，我们的方法在KFE中工作，其中不同权重近似独立，从而实现精确剪枝和快速计算。我们通过大量实验实证证明了所提方法的有效性。特别地，我们强调对于更具挑战性的数据集和网络，改进尤为显著。在精度损失可忽略的情况下，迭代剪枝版本在宽ResNet32上实现了模型大小减少10和FLOPs减少8。
引用
@article{arxiv.1905.05934,
title = {EigenDamage: Structured Pruning in the Kronecker-Factored Eigenbasis},
author = {Chaoqi Wang and Roger Grosse and Sanja Fidler and Guodong Zhang},
journal= {arXiv preprint arXiv:1905.05934},
year = {2019}
}
备注
ICML 2019