基于网络迁移学习中用于高效推理的基缩放与双重剪枝
计算机视觉与模式识别
2023-12-22 v2
摘要
基于网络的迁移学习能够在数据有限的情况下复用深度学习特征，但所得模型可能过大而不必要。尽管网络剪枝可提升推理效率，现有算法通常需要微调，这可能不适用于小数据集。本文利用奇异值分解，将卷积层分解为两层：一层是以标准正交基向量为滤波器的卷积层，另一层是负责重新缩放特征并将其变换回原始空间的“BasisScalingConv”层。由于每个分解层中的滤波器线性无关，当使用所提出的基缩放因子结合重要性的泰勒近似时，剪枝可更为有效，且无需微调单个权重。此外，由于原始卷积层的输入与输出通道数在基剪枝后保持不变，该方法几乎适用于所有架构，并可与现有剪枝算法结合进行双重剪枝以进一步提升剪枝能力。在将 ImageNet 预训练模型的知识迁移至不同目标域时，分类准确率下降不足 1% 的情况下，我们在模型参数上可对 CIFAR-10 实现高达 74.6% 的剪枝率，对 MNIST 实现高达 98.9% 的剪枝率。
引用
@article{arxiv.2108.02893,
title = {Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning},
author = {Ken C. L. Wong and Satyananda Kashyap and Mehdi Moradi},
journal= {arXiv preprint arXiv:2108.02893},
year = {2023}
}
备注
This paper was accepted by Pattern Recognition Letters