深度神经网络层间连接的分析
计算机视觉与模式识别
2013-06-04 v1
摘要
我们提出了一种分析选择深度神经网络层间连接不同技术的方法。传统的深度神经网络使用层间的随机连接表来保持连接数量较少并适应不同的图像特征。这种连接在有监督的深度网络中表现良好，因为其值在训练过程中得到了细化。另一方面，在无监督学习中，人们无法依赖反向传播技术来学习层间的连接。在这项工作中，我们在 CIFAR 和 SVHN 数据集上测试了四种将网络第一层连接到第二层的不同技术，并表明根据所用技术的不同，准确率可提高高达 3%。我们还表明，基于特征共现学习连接在小规模网络中并不比随机连接表更具优势。这项工作有助于提高无监督深度神经网络层间连接的效率。
引用
@article{arxiv.1306.0152,
title = {An Analysis of the Connections Between Layers of Deep Neural Networks},
author = {Eugenio Culurciello and Jonghoon Jin and Aysegul Dundar and Jordan Bates},
journal= {arXiv preprint arXiv:1306.0152},
year = {2013}
}