对称高斯误差线性单元 (SGELU)

Chao Yu; Zhiguo Su

对称高斯误差线性单元 (SGELU)

机器学习 2019-11-12 v1 机器学习

作者: Chao Yu , Zhiguo Su

摘要

本文提出一种称为对称高斯误差线性单元 (SGELU) 的新型神经网络激活函数，以获得高性能。该函数通过有效地将高斯误差线性单元 (GELU) 中的随机正则化器特性与对称特性相结合来实现。结合这两种优点，所提出的单元引入了双向收敛能力，从而在不出现梯度消失问题的情况下成功优化网络。已在 MNIST 分类和 MNIST 自编码器上对 SGELU 与 GELU 以及线性缩放双曲正切 (LiSHT) 进行了评估，在这些应用的性能与收敛速度方面提供了有力的验证。

关键词

激活函数对称高斯误差线性单元 SGELU 双向收敛梯度消失 MNIST 分类自编码器

引用

@article{arxiv.1911.03925,
  title  = {Symmetrical Gaussian Error Linear Units (SGELUs)},
  author = {Chao Yu and Zhiguo Su},
  journal= {arXiv preprint arXiv:1911.03925},
  year   = {2019}
}

备注

6 pages, 5 figures

对称高斯误差线性单元 (SGELU)

摘要

关键词

引用

备注

相关论文