基于通道与滤波器角度相异性的剪枝方法
计算机视觉与模式识别
2022-11-01 v1 机器学习
摘要
卷积神经网络(CNN)在各领域的应用日益广泛，其计算量与内存需求也显著增长。为使其适用于嵌入式应用等受限条件，网络压缩应运而生。其中，网络剪枝受到研究者较多关注。本文对卷积网络进行编码以获得不同编码节点的相似性，并基于该相似性评估卷积核之间的连接强度，进而依据不同连接强度施加不同水平的惩罚。同时，我们提出基于角度相异性性的通道剪枝(Channel Pruning base on the Dissimilarity of Angle, DACP)。首先，我们通过GL惩罚训练稀疏模型，并对卷积网络的通道与滤波器施加角度相异性约束以获得更稀疏的结构。最终，实验部分证明了方法的有效性。在CIFAR-10上，我们对VGG-16剪枝后减少了66.86%的FLOPs，准确率达93.31%，其中FLOPs表示模型每秒浮点运算次数。此外，在ResNet-32上，我们减少了58.46%的FLOPs，使剪枝后准确率达到91.76%。
引用
@article{arxiv.2210.16504,
title = {A pruning method based on the dissimilarity of angle among channels and filters},
author = {Jiayi Yao and Ping Li and Xiatao Kang and Yuzhe Wang},
journal= {arXiv preprint arXiv:2210.16504},
year = {2022}
}
备注
Accepted by ICTAI 2022