FractalNet：无残差连接的超深度神经网络
计算机视觉与模式识别
2017-05-30 v4
摘要
我们引入了一种基于自相似性的神经网络宏观架构设计策略。通过反复应用一个简单的扩展规则，可生成结构布局恰好为截断分形的深度网络。这些网络包含不同长度的交互子路径，但不包含任何直通或残差连接；每个内部信号在被后续层看到之前，都会经过一个滤波器和非线性变换。在实验中，分形网络在 CIFAR 和 ImageNet 分类任务上均达到了与标准残差网络相当的优异性能，从而证明残差表示可能并非极深卷积神经网络成功的根本原因。相反，关键可能在于训练过程中从有效浅层到深层过渡的能力。我们注意到其与学生-教师行为的相似性，并开发了 drop-path——dropout 的一种自然扩展——以正则化分形架构中子路径的共适应。这种正则化允许提取高性能的固定深度子网络。此外，分形网络展现出一种随时特性：浅层子网络提供快速答案，而具有更高延迟的深层子网络则提供更准确的答案。
引用
@article{arxiv.1605.07648,
title = {FractalNet: Ultra-Deep Neural Networks without Residuals},
author = {Gustav Larsson and Michael Maire and Gregory Shakhnarovich},
journal= {arXiv preprint arXiv:1605.07648},
year = {2017}
}
备注
updated with ImageNet results; published as a conference paper at ICLR 2017; project page at http://people.cs.uchicago.edu/~larsson/fractalnet/