自分组卷积神经网络
机器学习
2020-09-30 v1 计算机视觉与模式识别
摘要
尽管组卷积算子日益用于深度卷积神经网络以提升计算效率并减少参数量，现有多数方法通过预定义划分将每层卷积滤波器分为多个具有相等空间组大小且与数据无关的常规滤波器组来构建其组卷积架构，这阻碍了其潜力的充分发挥。为解决此问题，我们提出一种设计自分组卷积神经网络的新方法，称为SG-CNN，其中每层卷积滤波器基于其重要性向量的相似性自行分组。具体地，对每个滤波器，我们首先评估其输入通道的重要性值以识别重要性向量，然后通过聚类对这些向量分组。利用所得的数据相关质心，我们剪枝较不重要的连接，这隐式最小化剪枝的精度损失，从而产生一组多样的组卷积滤波器。随后，我们开发两种微调方案，即（1）局部与全局微调及（2）仅全局微调，实验表明二者结果相当，以恢复剪枝网络的识别能力。在CIFAR-10/100和ImageNet数据集上的综合实验表明，我们的自分组卷积方法适配多种最先进CNN架构（如ResNet和DenseNet），并在压缩率、加速比和识别精度方面提供更优性能。我们通过迁移学习（包括域适应和目标检测）展示了SG-CNN的泛化能力，取得了具竞争力的结果。我们的源代码见 https://github.com/QingbeiGuo/SG-CNN.git。
引用
@article{arxiv.2009.13803,
title = {Self-grouping Convolutional Neural Networks},
author = {Qingbei Guo and Xiao-Jun Wu and Josef Kittler and Zhiquan Feng},
journal= {arXiv preprint arXiv:2009.13803},
year = {2020}
}