PLU：分段线性单元激活函数
神经与进化计算
2018-09-26 v1
摘要
在足够多层的情况下，连续线性变换后接非线性“激活”函数可以任意精度逼近非线性函数。所需层数部分取决于激活函数的性质。双曲正切（tanh）曾是备受青睐的激活函数，直到网络加深后消失梯度在训练中造成阻碍。为此，由 max(0, x) 定义的修正线性单元（ReLU）已成为深度神经网络中主流的激活函数。与平滑的 tanh 函数不同，ReLU 产生的网络是具有有限面数的分段线性函数。本文提出一种新的激活函数——分段线性单元（PLU），它是 tanh 与 ReLU 的混合体，并在多种任务上被证明优于 ReLU，同时避免了 tanh 的消失梯度问题。
引用
@article{arxiv.1809.09534,
title = {PLU: The Piecewise Linear Unit Activation Function},
author = {Andrei Nicolae},
journal= {arXiv preprint arXiv:1809.09534},
year = {2018}
}