基于扰动正交投影的结构化定向剪枝
机器学习
2021-10-22 v2 机器学习
摘要
结构化剪枝是一种有效的神经网络计算压缩技术，通常通过添加扰动以减少网络参数为代价、略微增加训练损失来实现。更合理的方法是沿优化器（即随机梯度下降）所找到的平坦极小值谷寻找稀疏极小点，从而保持训练损失不变。为实现此目标，我们提出基于将扰动正交投影到平坦极小值谷的结构化定向剪枝。我们还提出快速求解器 sDprun，并进一步证明其在充分训练后渐近地实现定向剪枝。在 CIFAR-10 与 CIFAR-100 数据集上使用 VGG-Net 与 ResNet 的实验表明，我们的方法无需重训练即获得最优剪枝精度（即在 VGG16、CIFAR-10 任务上达 93.97%）。在 MNIST、CIFAR-10 与 CIFAR-100 数据集上使用 DNN、VGG-Net 与 WRN28X10 的实验证明，我们的方法执行结构化定向剪枝，达到与优化器相同的极小值谷。
引用
@article{arxiv.2107.05328,
title = {Structured Directional Pruning via Perturbation Orthogonal Projection},
author = {Yinchuan Li and Xiaofeng Liu and Yunfeng Shao and Qing Wang and Yanhui Geng},
journal= {arXiv preprint arXiv:2107.05328},
year = {2021}
}