CNN在ImageNet上改进方案的系统性评估
神经与进化计算
2017-06-02 v2 计算机视觉与模式识别
机器学习
摘要
本文系统地研究了一系列近期 CNN 架构与学习方法方面的进展对目标分类（ILSVRC）问题的影响。该评估测试了以下架构选择的影响：非线性（ReLU、ELU、maxout、与 batch normalization 的兼容性）、池化变体（stochastic、max、average、mixed）、网络宽度、分类器设计（卷积、全连接、SPP）、图像预处理，以及学习参数：学习率、batch size、数据纯净度等。所提出修改的性能提升首先被单独测试，然后进行组合测试。各项单独提升之和大于引入所有修改时观察到的改进，但这一“亏缺”很小，表明它们的收益是独立的。我们表明，使用 128x128 像素的图像足以得出关于最优网络结构的定性结论，且该结论适用于全尺寸的 Caffe 和 VGG 网络。获得这些结果的速度比使用标准 224 像素图像快一个数量级。
引用
@article{arxiv.1606.02228,
title = {Systematic evaluation of CNN advances on the ImageNet},
author = {Dmytro Mishkin and Nikolay Sergievskiy and Jiri Matas},
journal= {arXiv preprint arXiv:1606.02228},
year = {2017}
}
备注
Submitted to CVIU Special Issue on Deep Learning. Updated dataset quality experiment