一种具有改进运行时间的神经网络修正激活函数
神经与进化计算
2017-07-06 v1
摘要
本文提出一种双曲正切激活函数(Hyperbolic Tangent Activation Function)的修正版本，作为神经网络的学习单元生成器。该函数使用一个整数校准常数作为欧拉数 e 的近似，基于二次实数公式(Real Number Formula, RNF)算法以及对输入激活的自适应归一化约束，以避免梯度消失。我们使用假设和真实世界数据集证明了所提修正的有效性，并表明采用该函数的学习算法能够实现更短的运行时间，从而在训练过程中提高加速比和学习精度。
引用
@article{arxiv.1607.01691,
title = {A Modified Activation Function with Improved Run-Times For Neural Networks},
author = {Vincent Ike Anireh and Emmanuel Ndidi Osegi},
journal= {arXiv preprint arXiv:1607.01691},
year = {2017}
}
备注
22pages, 12 figures, 3 tables; Submitted for Publication