AIP:基于知识迁移的卷积神经网络对抗式迭代剪枝
计算机视觉与模式识别
2021-09-01 v1
摘要
随着结构复杂度的增加,卷积神经网络(CNNs)带来了可观的计算开销。同时,已有研究揭示CNNs中存在显著的参数冗余。当前剪枝方法能以微小的性能下降压缩CNNs,但当剪枝率提高时,精度损失更为严重。此外,一些迭代剪枝方法由于剪枝过程中的精度下降而难以准确识别并删除不重要的参数。我们提出了一种新颖的基于知识迁移的CNN对抗式迭代剪枝方法(AIP)。将原始网络视为教师网络,压缩网络视为学生网络。我们应用注意力图与输出特征将信息从教师迁移至学生。然后,设计一个浅层全连接网络作为判别器,使两个网络的输出进行对抗博弈,从而能在剪枝间隔中快速恢复被剪枝的精度。最后,提出基于通道重要性的迭代剪枝方案。我们在图像分类任务CIFAR-10、CIFAR-100和ILSVRC-2012上进行了大量实验,验证我们的剪枝方法即使无精度损失也能实现CNNs的高效压缩。在ILSVRC-2012上,当移除ResNet-18的36.78%参数和45.55%浮点运算(FLOPs)时,Top-1精度下降仅0.66%。我们的方法在压缩率和精度上优于一些最先进的剪枝方案。此外,我们进一步证明AIP在目标检测任务PASCAL VOC上具有良好的泛化性。
引用
@article{arxiv.2108.13591,
title = {AIP: Adversarial Iterative Pruning Based on Knowledge Transfer for Convolutional Neural Networks},
author = {Jingfei Chang and Yang Lu and Ping Xue and Yiqun Xu and Zhen Wei},
journal= {arXiv preprint arXiv:2108.13591},
year = {2021}
}
备注
15 pages, 7 figures