海森矩阵感知剪枝与最优神经植入
计算机视觉与模式识别
2021-06-23 v3
摘要
剪枝是一种减少神经网络模型内存占用与 FLOPs 的有效方法。然而，现有结构化剪枝方法常在中度剪枝水平下导致显著的精度下降。为解决该问题，我们引入一种新的海森矩阵感知剪枝（HAP）方法，并辅以神经植入（Neural Implant）策略，以二阶敏感度作为结构化剪枝的度量。基本思想是剪枝不敏感组件，并对中度敏感组件使用神经植入而非完全剪枝。对于后者，中度敏感组件被替换为低秩植入物，其规模更小且计算开销低于原组件。我们使用相对海森迹衡量敏感度，而非文献中常用的基于幅值的敏感度度量。我们在计算机视觉任务与自然语言任务上测试 HAP，并取得了新的 SOTA 结果。具体而言，HAP 在 PreResNet29/ResNet50（CIFAR-10/ImageNet）上以超过 70%/50% 参数被剪枝时，退化小于 /。同时，在基于 transformer 的模型头部剪枝上，HAP 相较基于梯度的方法取得了显著更优性能（在 60% 参数剪枝下提升达 0.8%）。该框架已开源并可在线获取。
引用
@article{arxiv.2101.08940,
title = {Hessian-Aware Pruning and Optimal Neural Implant},
author = {Shixing Yu and Zhewei Yao and Amir Gholami and Zhen Dong and Sehoon Kim and Michael W Mahoney and Kurt Keutzer},
journal= {arXiv preprint arXiv:2101.08940},
year = {2021}
}