修订饱和激活函数
机器学习
2016-05-03 v2
摘要
本文中，我们修订了两个常用的饱和函数：logistic sigmoid 与双曲正切 (tanh)。我们指出，除了众所周知的非零中心化性质外，激活函数在原点附近的斜率是使得利用 logistic 函数训练深度网络困难的另一个可能原因。我们证明，通过适当的重缩放，logistic sigmoid 取得了与 tanh 相当的结果。随后遵循相同论点，我们通过惩罚负部分改进了 tanh。我们展示“penalized tanh”在深度卷积神经网络上与包括 ReLU 与 leaky ReLU 在内的最先进的 (state-of-the-art) 非饱和函数相当甚至更优。我们的结果与此前认为饱和性质导致慢收敛的结论相矛盾。这表明有必要进一步研究以更好地理解深度架构中的激活函数。
引用
@article{arxiv.1602.05980,
title = {Revise Saturated Activation Functions},
author = {Bing Xu and Ruitong Huang and Mu Li},
journal= {arXiv preprint arXiv:1602.05980},
year = {2016}
}