刻画神经网络中的稀疏连接模式
机器学习
2019-04-29 v5 计算机视觉与模式识别
摘要
我们提出了一种通过使用预定义稀疏性来减少神经网络中占用大量存储的全连接层参数数量的新方法，其中大多数连接在训练开始之前就不存在。我们的结果表明，卷积神经网络可以在分类层连接密度低于千分之五或整体网络连接密度低于5%的情况下不损失任何准确率地运行。我们还研究了预定义仅含全连接层的网络稀疏性的影响。基于我们的稀疏化技术，我们引入了“scatter”度量来刻画特定连接模式的质量。作为概念验证，我们展示了在CIFAR、MNIST以及一个用于分类摩尔斯电码符号的新数据集上的结果，这突显了稀疏连接模式的一些有趣趋势和局限。
引用
@article{arxiv.1711.02131,
title = {Characterizing Sparse Connectivity Patterns in Neural Networks},
author = {Sourya Dey and Kuan-Wen Huang and Peter A. Beerel and Keith M. Chugg},
journal= {arXiv preprint arXiv:1711.02131},
year = {2019}
}
备注
Presented at the 2018 Information Theory and Applications Workshop, San Diego, California