通过层间核共享大幅减少深度 CNN 的可训练参数数量
计算机视觉与模式识别
2022-10-26 v1 人工智能
机器学习
摘要
深度卷积神经网络（DCNN）已成为许多计算机视觉任务（图像分类、目标检测、语义分割等）的最先进（SOTA）方法。然而，大多数 SOTA 网络对于边缘计算而言过于庞大。在此，我们提出一种简单的方法来减少可训练参数数量，从而减少内存占用：在多个卷积层之间共享核。核共享仅可能在“同构”层之间进行，即具有相同核大小、输入和输出通道的层。这在 DCNN 的每个阶段内部通常是这种情况。我们使用 ConvMixer 和 SE-ResNet 架构在 CIFAR-10 和 CIFAR-100 上的实验表明，这些模型的参数数量可被大幅减少，且精度损失极小。所得网络对于受严苛内存约束的某些边缘计算应用具有吸引力，若利用“冻结权重”硬件加速器则更为有趣。核共享也是一种有效的正则化方法，可减少过拟合。代码已公开于 https://github.com/AlirezaAzadbakht/kernel-sharing。
引用
@article{arxiv.2210.14151,
title = {Drastically Reducing the Number of Trainable Parameters in Deep CNNs by Inter-layer Kernel-sharing},
author = {Alireza Azadbakht and Saeed Reza Kheradpisheh and Ismail Khalfaoui-Hassani and Timothée Masquelier},
journal= {arXiv preprint arXiv:2210.14151},
year = {2022}
}