卷积神经网络中隐式的滤波器级稀疏性研究
机器学习
2019-04-08 v2 计算机视觉与模式识别
信号处理
机器学习
摘要
我们研究了采用批归一化（Batch Normalization）与 ReLU 激活函数、并使用自适应梯度下降技术以及 L2 正则化或权重衰减训练的卷积神经网络（CNNs）中出现的滤波器级稀疏性。我们开展了一项广泛的实验研究，将初步发现归纳为关于隐式滤波器级稀疏性产生机制的假设与结论。该研究为实践中观察到的自适应与非自适应梯度下降方法之间的性能差距提供了新的见解。此外，对训练策略与超参数对稀疏性影响的分析，为设计 CNN 训练策略提供了实用建议，使我们能够探索特征选择性、网络容量与泛化性能之间的权衡。最后，我们表明，这种隐式稀疏性可被用于神经网络加速，其效果与显式稀疏化/剪枝方法相当甚至更优，且无需对典型训练流程做任何修改。
引用
@article{arxiv.1811.12495,
title = {On Implicit Filter Level Sparsity in Convolutional Neural Networks},
author = {Dushyant Mehta and Kwang In Kim and Christian Theobalt},
journal= {arXiv preprint arXiv:1811.12495},
year = {2019}
}
备注
Accepted at CVPR 2019