深度卷积神经网络的分层组稀疏正则化
计算机视觉与模式识别
2020-04-10 v1 机器学习
摘要
在深度神经网络（DNN）中，参数数量通常巨大以获得高学习性能。因此，它消耗大量内存和大量计算资源，并且还会导致过拟合。已知一些参数是冗余的，可以从网络中移除而不降低性能。许多稀疏正则化准则已被提出来解决此问题。在卷积神经网络（CNN）中，组稀疏正则化常用于移除不必要的权重子集，例如滤波器或通道。当我们将连接到某个神经元的权重作为一个组应用组稀疏正则化时，每个卷积滤波器在正则化中并不被视为目标组。在本文中，我们引入分层分组的概念来解决此问题，并提出了几种针对CNN的分层组稀疏正则化准则。我们提出的分层组稀疏正则化可以将输入神经元或输出神经元的权重作为一个组，并将卷积滤波器作为同一组中的组来处理，以剪枝不必要的权重子集。因此，我们可以根据网络结构和通道数量更充分地剪枝权重，同时保持高性能。在实验中，我们通过在公开数据集上使用多种网络架构进行密集比较实验，研究了所提稀疏正则化的有效性。代码可在GitHub上获取：“https://github.com/K-Mitsuno/hierarchical-group-sparse-regularization”
引用
@article{arxiv.2004.04394,
title = {Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks},
author = {Kakeru Mitsuno and Junichi Miyao and Takio Kurita},
journal= {arXiv preprint arXiv:2004.04394},
year = {2020}
}
备注
Accepted to IJCNN 2020