带有指数线性单元的深度残差网络
计算机视觉与模式识别
2016-10-06 v4
摘要
非常深的卷积神经网络带来了梯度消失和退化等新的问题。近期解决这些问题的成功贡献包括残差网络（Residual Networks）与高速公路网络（Highway Networks）。这些网络引入了跳跃连接，使得信息（来自输入或较早层学到的信息）能够更多地流入更深的层。这些极深模型在 ImageNet 和 COCO 等基准上显著降低了测试误差。本文中，我们提出在残差网络中使用指数线性单元（exponential linear unit, ELU）来代替 ReLU 与批量归一化（Batch Normalization）的组合。我们表明这不仅加速了残差网络中的学习，而且随着深度增加还提高了准确率。它在几乎所有数据集（如 CIFAR-10 和 CIFAR-100）上改善了测试误差。
引用
@article{arxiv.1604.04112,
title = {Deep Residual Networks with Exponential Linear Unit},
author = {Anish Shah and Eashan Kadam and Hena Shah and Sameer Shinde and Sandip Shingade},
journal= {arXiv preprint arXiv:1604.04112},
year = {2016}
}
备注
submitted in Vision Net 2016, Jaipur, India