基于中心滤波器的网络压缩
机器学习
2021-12-14 v2 计算机视觉与模式识别
图像与视频处理
摘要
神经网络剪枝在降低深度网络模型复杂度方面具有显著效果。近期的网络剪枝方法通常侧重于移除网络中不重要或冗余的滤波器。本文通过探索特征图之间的相似性，提出了一种新颖的滤波器剪枝方法——中心滤波器（Central Filter, CF），该方法认为一个滤波器在经过适当调整后近似等于一组其他滤波器。我们的方法基于如下发现：无论输入图像数量多少，特征图之间的平均相似性变化极小。基于该发现，我们在特征图上建立相似性图，并计算每个节点的紧密中心性以选取中心滤波器。此外，我们设计了一种方法直接调整下一层中对应中心滤波器的权重，有效最小化剪枝引起的误差。通过在多个基准网络和数据集上的实验，CF 取得了最先进的性能。例如，在 ResNet-56 上，CF 去除了 47.1% 的参数，约减少 39.7% 的 FLOPs，且在 CIFAR-10 上准确率甚至提升 0.33%。在 GoogLeNet 上，CF 去除了 55.6% 的参数，约减少 63.2% 的 FLOPs，在 CIFAR-10 上 top-1 准确率仅损失 0.35%。在 ResNet-50 上，CF 去除了 36.9% 的参数，约减少 47.9% 的 FLOPs，在 ImageNet 上 top-1 准确率仅损失 1.07%。代码可在 https://github.com/8ubpshLR23/Central-Filter 获取。
引用
@article{arxiv.2112.05493,
title = {Network Compression via Central Filter},
author = {Yuanzhi Duan and Xiaofang Hu and Yue Zhou and Qiang Liu and Shukai Duan},
journal= {arXiv preprint arXiv:2112.05493},
year = {2021}
}