内存受限的深度卷积网络
计算机视觉与模式识别
2014-12-04 v1
摘要
在这项工作中，我们研究了在训练卷积神经网络（CNN）时使用稀疏性诱导正则化器。这些正则化器鼓励卷积层和全连接层中更少的连接取非零值，从而实际上导致深度网络中隐藏单元之间的稀疏连接。这进而降低了部署所学CNN所需的内存和运行时间成本。我们表明，使用这种正则化进行训练仍然可以通过随机梯度下降执行，这意味着它可以轻松用于现有代码库。我们在MNIST、CIFAR和ImageNet数据集上对该方法的实验评估表明，我们的正则化器可以显著减少内存需求。例如，当应用于AlexNet时，我们的方法可以将内存消耗减少四倍，同时精度损失极小。
引用
@article{arxiv.1412.1442,
title = {Memory Bounded Deep Convolutional Networks},
author = {Maxwell D. Collins and Pushmeet Kohli},
journal= {arXiv preprint arXiv:1412.1442},
year = {2014}
}