一种用于降低DNN块剪枝损失的一次性重参数化方法
计算机视觉与模式识别
2022-08-01 v1 机器学习
摘要
近年来，块剪枝被广泛研究以加速深度神经网络（DNNs）的推理。然而，我们发现训练好的DNN上块剪枝造成的损失很大，因为块剪枝会将重要元素与不重要元素一同消除。本研究提出一种称为TileTrans的一次性重参数化方法，以降低块剪枝的损失。具体而言，我们对权重矩阵的行或列重新置换，使得重参数化后模型架构可保持不变。该重置换实现了DNN模型的无任何重训练的重参数化。所提重参数化方法将重要元素组合至同一块中，从而在块剪枝后保留重要元素。此外，TileTrans可无缝集成至现有块剪枝方法中，因其是在剪枝前执行的预处理方法，与多数现有方法正交。实验结果表明，我们的方法对降低DNN上块剪枝损失至关重要。具体地，在ImageNet上预训练的AlexNet准确率提升达17%，ResNet-34提升5%。
引用
@article{arxiv.2207.14545,
title = {A One-Shot Reparameterization Method for Reducing the Loss of Tile Pruning on DNNs},
author = {Yanchen Li and Qingzhong Ai and Fumihiko Ino},
journal= {arXiv preprint arXiv:2207.14545},
year = {2022}
}
备注
Presented at IJCNN 2022, oral