深度神经网络在线压缩
机器学习
2016-03-21 v5 计算机视觉与模式识别
神经与进化计算
摘要
得益于其最先进的性能，深度神经网络越来越多地用于物体识别。为达到这些结果，它们使用数百万个参数进行训练。然而，当面向嵌入式应用时，这些模型的规模便成为问题。因此，它们在智能手机或其他资源受限设备上的使用受到限制。本文介绍了一种在训练阶段进行的新型深度神经网络压缩方法。该方法在全连接层的代价函数中添加一个额外的正则化项。我们将此方法与训练权重的乘积量化（Product Quantization）相结合，以进一步节省存储消耗。我们在两个数据集（MNIST 和 CIFAR10）上评估了我们的方法，在这两个数据集上，我们实现了比现有最先进方法显著更高的压缩率。
引用
@article{arxiv.1509.08745,
title = {Compression of Deep Neural Networks on the Fly},
author = {Guillaume Soulié and Vincent Gripon and Maëlys Robert},
journal= {arXiv preprint arXiv:1509.08745},
year = {2016}
}