使用标准Logistic激活函数训练前馈神经网络是可行的
神经与进化计算
2017-10-04 v1 机器学习
机器学习
摘要
由于标准Logistic激活函数（S型函数）的固有特性，训练使用该激活函数的前馈神经网络被认为是困难的。本工作旨在证明这些网络可以被训练以达到与基于双曲正切激活函数的网络相当的泛化性能。解决方案在于应用一组参数初始化条件，这些条件是从信息论视角研究单个神经元特性而推导出来的。通过广泛的实验分析验证了所提出的初始化方法。
引用
@article{arxiv.1710.01013,
title = {Training Feedforward Neural Networks with Standard Logistic Activations is Feasible},
author = {Emanuele Sansone and Francesco G. B. De Natale},
journal= {arXiv preprint arXiv:1710.01013},
year = {2017}
}