CrescendoNet：一种具有集成行为的简单深度卷积神经网络
机器学习
2018-01-08 v2 计算机视觉与模式识别
机器学习
摘要
我们通过堆叠不含残差连接的简单构建块，提出了一种新的深度卷积神经网络 CrescendoNet。每个 Crescendo 块包含深度递增的独立卷积路径。在 Crescendo 块中，卷积层数与参数量仅线性增长。实验中，仅 15 层的 CrescendoNet 在基准数据集 CIFAR10、CIFAR100 和 SVHN 上几乎超越了所有不含残差连接的网络。在如 SVHN 数据集般充足的数据量下，15 层、4.1M 参数的 CrescendoNet 可匹配 250 层、15.3M 参数的 DenseNet-BC 的性能。CrescendoNet 为构建不含残差连接的高性能深度卷积神经网络提供了新途径。此外，通过考察 CrescendoNet 中子网络的行为与性能，我们注意到其高性能可能源于其隐式集成行为，这不同于同样是不含残差连接的深度卷积神经网络的 FractalNet。进一步，CrescendoNet 中路径间的独立性使我们得以引入一种新的路径级训练流程，可降低训练所需内存。
引用
@article{arxiv.1710.11176,
title = {CrescendoNet: A Simple Deep Convolutional Neural Network with Ensemble Behavior},
author = {Xiang Zhang and Nishant Vishwamitra and Hongxin Hu and Feng Luo},
journal= {arXiv preprint arXiv:1710.11176},
year = {2018}
}