基于分层组稀疏正则化的深度卷积神经网络滤波器剪枝
计算机视觉与模式识别
2020-11-05 v1 机器学习
摘要
由于卷积神经网络常以冗余参数训练，可减少冗余核或滤波器以获得紧凑网络而不降低分类精度。本文提出一种使用分层组稀疏正则化的滤波器剪枝方法。我们之前的工作表明，分层组稀疏正则化能有效地获得稀疏网络，其中连接到不必要通道的滤波器自动趋近于零。在用分层组稀疏正则化训练卷积神经网络后，基于随机选定训练样本分类损失的增加来选取不必要滤波器，从而得到紧凑网络。结果表明，所提方法对 CIFAR-10 上的 ResNet 可削减超过 50% 的参数，测试样本精度仅下降 0.3%。此外，对 TinyImageNet-200 上的 ResNet 削减了 34% 的参数，且精度高于基线网络。
引用
@article{arxiv.2011.02389,
title = {Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks},
author = {Kakeru Mitsuno and Takio Kurita},
journal= {arXiv preprint arXiv:2011.02389},
year = {2020}
}
备注
Accepted to ICPR 2020