连续可微指数线性单元
机器学习
2017-04-26 v1
摘要
指数线性单元（Exponential Linear Units, ELUs）是构建深度学习架构的一种有用整流器，因为它们可能通过不具有消失梯度和具有接近零的平均激活来加速并改善学习。然而，[1]中参数化的ELU激活在形状参数 alpha 不等于1时相对于其输入不是连续可微的。我们提出了一种替代参数化，它对所有的 alpha 值都是 C1 连续的，使得该整流器更易于推理并使 alpha 更易于调优。这种替代参数化具有原始ELU参数化所不具备的几个其他有用特性：1）其关于 x 的导数有界，2）它包含线性传递函数和ReLU作为特例，以及3）它关于 alpha 是尺度相似的。
引用
@article{arxiv.1704.07483,
title = {Continuously Differentiable Exponential Linear Units},
author = {Jonathan T. Barron},
journal= {arXiv preprint arXiv:1704.07483},
year = {2017}
}