使用迭代硬阈值方法训练瘦深神经网络
计算机视觉与模式识别
2016-07-20 v1
摘要
深度神经网络在广泛的实际问题中取得了显著成功。然而，由于固有的大参数空间，深度模型极易过拟合且难以部署在内存受限的便携设备中。本文提出一种迭代硬阈值（IHT）方法来训练瘦深神经网络（SDNNs）。SDNN参数少得多，却能取得与其完整CNN对应模型相当甚至更好的性能。更具体地，IHT方法通过以下两个交替阶段训练SDNN：（I）执行硬阈值以丢弃激活值小的连接，并微调其他显著滤波器；（II）重新激活冻结的连接并训练整个网络以提升其整体判别能力。我们在四个基准目标识别数据集（包括CIFAR-10、CIFAR-100、MNIST和ImageNet）上验证了SDNN在效率和分类性能上的优越性。实验结果清楚表明，IHT可应用于基于各种CNN架构（如NIN和AlexNet）训练SDNN。
引用
@article{arxiv.1607.05423,
title = {Training Skinny Deep Neural Networks with Iterative Hard Thresholding Methods},
author = {Xiaojie Jin and Xiaotong Yuan and Jiashi Feng and Shuicheng Yan},
journal= {arXiv preprint arXiv:1607.05423},
year = {2016}
}