卷积神经网络中的隐式滤波器稀疏化
机器学习
2019-05-14 v1 计算机视觉与模式识别
机器学习
摘要
我们展示了采用批归一化与 ReLU 激活、并使用自适应梯度下降技术以及 L2 正则化或权重衰减训练的卷积神经网络（CNNs）中出现的隐式滤波器级稀疏性。通过一项广泛的实证研究（Mehta 等，2019），我们推测了稀疏化过程背后的机制，并发现了与文献中提出的某些滤波器稀疏化启发式方法令人惊讶的联系。我们观察到选择性特征的出现及其随后的剪枝是促成机制之一，由此产生的特征稀疏性与某些显式稀疏化/剪枝方法相当甚至更优。在这篇研讨会文章中，我们总结了我们的发现，并指出了选择性特征惩罚的推论，其也可用作滤波器剪枝的启发式方法。
引用
@article{arxiv.1905.04967,
title = {Implicit Filter Sparsification In Convolutional Neural Networks},
author = {Dushyant Mehta and Kwang In Kim and Christian Theobalt},
journal= {arXiv preprint arXiv:1905.04967},
year = {2019}
}
备注
ODML-CDNNR 2019 (ICML'19 workshop) extended abstract of the CVPR 2019 paper "On Implicit Filter Level Sparsity in Convolutional Neural Networks, Mehta et al." (arXiv:1811.12495)