Deep Fried 卷积网络
机器学习
2015-07-21 v4 神经与进化计算
机器学习
摘要
深度卷积神经网络的全连接层通常包含超过 90% 的网络参数，并消耗存储网络参数所需的大部分内存。在保持基本相同预测性能的同时减少参数数量，对于在 GPU 或嵌入式设备等内存受限环境中运行深度神经网络至关重要。本文展示了如何利用核方法，特别是单个 Fastfood 层，来替换深度卷积神经网络中的所有全连接层。这种新颖的 Fastfood 层可与卷积层一起进行端到端训练，从而将它们组合成一种名为深度 Fried 卷积网络 (deep fried convolutional networks) 的新架构。该架构显著减少了在 MNIST 和 ImageNet 上训练的卷积网络的内存占用，且预测性能未下降。
引用
@article{arxiv.1412.7149,
title = {Deep Fried Convnets},
author = {Zichao Yang and Marcin Moczulski and Misha Denil and Nando de Freitas and Alex Smola and Le Song and Ziyu Wang},
journal= {arXiv preprint arXiv:1412.7149},
year = {2015}
}
备注
svd experiments included