以中谱分组卷积提升卷积神经网络性能
计算机视觉与模式识别
2023-04-14 v1
摘要
本文提出一种称为中谱分组卷积(MSGC)的新型模块,基于分组卷积机制用于高效深度卷积神经网络(DCNNs)。它探索了通道剪枝与传统分组卷积之间广阔的“中谱”区域。与通道剪枝相比,由于分组机制,MSGC能保留来自输入特征图的大部分信息;与分组卷积相比,MSGC受益于通道剪枝的核心即可学习性来构建其分组拓扑,从而获得更好的通道划分。中谱区域沿四个维度展开:组级、层级、样本级和注意力级,使得揭示更强大且可解释的结构成为可能。因此,所提模块充当增强器,能在通用图像识别中以甚至更高的预测精度降低主干网络的计算成本。例如,在ImageNet数据集上的图像分类实验中,MSGC能将ResNet-18和ResNet-50的乘加运算(MACs)减少一半,但仍将Top-1精度提高1%以上。在MACs减少35%的情况下,MSGC还能提高MobileNetV2主干的Top-1精度。在MS COCO数据集上用于目标检测的结果显示出类似现象。我们的代码和训练模型可在https://github.com/hellozhuo/msgc获取。
引用
@article{arxiv.2304.06305,
title = {Boosting Convolutional Neural Networks with Middle Spectrum Grouped Convolution},
author = {Zhuo Su and Jiehua Zhang and Tianpeng Liu and Zhen Liu and Shuanghui Zhang and Matti Pietikäinen and Li Liu},
journal= {arXiv preprint arXiv:2304.06305},
year = {2023}
}
备注
13 pages, 11 figures, submitted to IEEEE Transactions on xxx