深入整流器：在 ImageNet 分类上超越人类水平性能
计算机视觉与模式识别
2015-02-09 v1 人工智能
机器学习
摘要
整流激活单元（rectifiers）对于最先进的神经网络至关重要。本工作中，我们从两方面研究用于图像分类的整流神经网络。首先，我们提出参数化修正线性单元（Parametric Rectified Linear Unit, PReLU），它推广了传统的整流单元。PReLU 以几乎零额外计算成本和极小过拟合风险改善了模型拟合。其次，我们推导了一种特别考虑整流器非线性的鲁棒初始化方法。该方法使我们能够直接从零开始训练极深的整流模型，并研究更深或更宽的网络架构。基于我们的 PReLU 网络（PReLU-nets），我们在 ImageNet 2012 分类数据集上取得了 4.94% 的 top-5 测试错误率。这相比 ILSVRC 2014 冠军（GoogLeNet, 6.66%）有 26% 的相对提升。据我们所知，我们的结果是首个在此视觉识别挑战上超越人类水平性能（5.1%, Russakovsky 等人）的。
引用
@article{arxiv.1502.01852,
title = {Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification},
author = {Kaiming He and Xiangyu Zhang and Shaoqing Ren and Jian Sun},
journal= {arXiv preprint arXiv:1502.01852},
year = {2015}
}