操控相同滤波器冗余以实现深度复杂 CNN 的高效剪枝
计算机视觉与模式识别
2021-08-02 v1 机器学习
摘要
卷积神经网络（CNNs）中冗余的存在使我们能够以可接受的性能下降移除一些滤波器/通道。然而，CNNs 的训练目标通常倾向于最小化与精度相关的损失函数，而不关注冗余，使得冗余随机分布于所有滤波器上，因此移除其中任何一个都可能引发信息丢失和精度下降，需要进行后续的微调步骤以恢复。本文中，我们提出在训练过程中操控冗余以促进网络剪枝。为此，我们提出一种新颖的向心随机梯度下降（C-SGD）使一些滤波器相同，从而产生理想的冗余模式，因为此类滤波器由于其重复而变得纯粹冗余；因此移除它们不会损害网络。如在 CIFAR 和 ImageNet 上所示，由于冗余被更好地组织，C-SGD 相较现有方法取得了更好的性能。高效性也是 C-SGD 的特征，因为它与常规 SGD 一样快，无需微调，并且即使在非常深的 CNN 中也能在所有层上同时执行。此外，C-SGD 可通过先训练一个具有相同架构但更宽层的模型再将其压缩至原始宽度来提高 CNNs 的精度。
引用
@article{arxiv.2107.14444,
title = {Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN},
author = {Xiaohan Ding and Tianxiang Hao and Jungong Han and Yuchen Guo and Guiguang Ding},
journal= {arXiv preprint arXiv:2107.14444},
year = {2021}
}
备注
Extension of the CVPR-2019 paper (https://openaccess.thecvf.com/content_CVPR_2019/papers/Ding_Centripetal_SGD_for_Pruning_Very_Deep_Convolutional_Networks_With_Complicated_CVPR_2019_paper.pdf). arXiv admin note: substantial text overlap with arXiv:1904.03837