无卷积我们能走多远：改进全连接网络
机器学习
2015-11-10 v1 神经与进化计算
摘要
我们提出改进全连接网络性能的方法。我们发现特别是两种途径对性能有很强的影响：线性瓶颈层和使用无隐藏单元偏置的自编码器的无监督预训练。我们展示这两种途径如何与改善梯度流和减少网络中的稀疏性相关联。我们展示全连接网络在置换不变的 CIFAR-10 任务上能产生约 70% 的分类准确率，远高于当前最先进水平。通过对训练数据添加形变，全连接网络达到了 78% 的准确率，仅比一个像样的卷积网络低 10%。
引用
@article{arxiv.1511.02580,
title = {How far can we go without convolution: Improving fully-connected networks},
author = {Zhouhan Lin and Roland Memisevic and Kishore Konda},
journal= {arXiv preprint arXiv:1511.02580},
year = {2015}
}
备注
10 pages, 11 figures, submitted for ICLR 2016