激活函数及其与Xavier和He正态初始化的关系综述

Leonid Datta

激活函数及其与Xavier和He正态初始化的关系综述

神经与进化计算 2020-04-15 v1 机器学习

作者: Leonid Datta

摘要

在人工神经网络中，激活函数与权重初始化方法对神经网络的训练与性能起着重要作用。问题在于，一个函数的哪些性质对于成为表现良好的激活函数是重要或必要的。此外，最广泛使用的权重初始化方法——Xavier与He正态初始化——与激活函数有根本性联系。本综述讨论了激活函数的重要或必要性质，以及最广泛使用的激活函数（sigmoid、tanh、ReLU、LReLU与PReLU）。本综述也探讨了这些激活函数与两种权重初始化方法——Xavier与He正态初始化——之间的关系。

关键词

激活函数 Xavier初始化 He正态初始化神经网络权重初始化 ReLU sigmoid

引用

@article{arxiv.2004.06632,
  title  = {A Survey on Activation Functions and their relation with Xavier and He Normal Initialization},
  author = {Leonid Datta},
  journal= {arXiv preprint arXiv:2004.06632},
  year   = {2020}
}

备注

17 Pages, 11 figures

激活函数及其与Xavier和He正态初始化的关系综述

摘要

关键词

引用

备注

相关论文