一种基于预定义稀疏核的卷积用于深度 CNN
计算机视觉与模式识别
2019-10-17 v2 计算复杂性
摘要
对计算和存储资源的高需求严重阻碍了深度卷积神经网络（CNN）在资源受限设备上的部署。近期的 CNN 架构提出了简化复杂度的版本（如 ShuffleNet 和 MobileNet），但代价是准确率略有下降。本文提出 pSConv，一种基于预定义稀疏二维核的卷积，有望在 CNN 训练和推理的复杂度与准确率权衡上取得显著改进。为探索该方法的潜力，我们在 ResNet18 和 VGG16 架构的稀疏变体上使用了两个广泛接受的数据集 CIFAR-10 和 Tiny ImageNet 进行实验。我们的方法相对于标准 CNN，参数数量最多减少 4.24 倍，分类准确率仅有适度下降。我们的方法优于 ShuffleNet 的一个流行变体：使用带有 pSConv 的 ResNet18 变体，其 3x3 核中仅四个非零元素（其余固定为零），参数数量在 CIFAR-10 上减少 1.7 倍，在 Tiny ImageNet 上减少 2.29 倍，且准确率提高约 4%。
引用
@article{arxiv.1910.00724,
title = {A Pre-defined Sparse Kernel Based Convolution for Deep CNNs},
author = {Souvik Kundu and Saurav Prakash and Haleh Akrami and Peter A. Beerel and Keith M. Chugg},
journal= {arXiv preprint arXiv:1910.00724},
year = {2019}
}
备注
8 pages, 12 figures, Computer vision