通过指数线性单元(ELUs)实现快速准确的深度网络学习
机器学习
2016-02-23 v5
摘要
我们引入了“指数线性单元”(ELU)，它加速了深度神经网络中的学习并带来更高的分类准确率。像修正线性单元(ReLUs)、带泄漏的ReLUs(LReLUs)和参数化ReLUs(PReLUs)一样，ELUs通过正值恒等变换缓解梯度消失问题。然而，与其他激活函数单元相比，ELUs具有改进的学习特性。与ReLUs不同，ELUs具有负值，这使得它们能够像批量归一化那样将平均单元激活推近零，但计算复杂度更低。均值向零偏移通过减小偏置偏移效应，使常规梯度更接近单元自然梯度，从而加速学习。虽然LReLUs和PReLUs也有负值，但它们不能确保噪声鲁棒的失活状态。ELUs在小输入时饱和至负值，从而减少了前向传播的变异和信息。因此，ELUs编码输入中特定现象的存在程度，而不定量建模其缺失程度。在实验中，ELUs不仅在层数超过5层的网络上比ReLUs和LReLUs学习更快，而且泛化性能显著更好。在CIFAR-100上，ELU网络显著优于带批量归一化的ReLU网络，而批量归一化并不能改善ELU网络。ELU网络跻身CIFAR-10报道的前10结果，并在CIFAR-100上给出最佳发表结果，且未借助多视图评估或模型平均。在ImageNet上，ELU网络与相同架构的ReLU网络相比大幅加速学习，在单一裁剪、单一模型网络上获得低于10%的分类错误率。
引用
@article{arxiv.1511.07289,
title = {Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)},
author = {Djork-Arné Clevert and Thomas Unterthiner and Sepp Hochreiter},
journal= {arXiv preprint arXiv:1511.07289},
year = {2016}
}
备注
Published as a conference paper at ICLR 2016