对数、线性与指数函数之间的连续统，及其改进神经网络泛化的潜力
神经与进化计算
2016-02-04 v1
摘要
我们提出用于人工神经网络的软指数激活函数，该函数在对数函数、线性函数和指数函数之间连续插值。该激活函数简单、可微，并且参数化以便可以像网络其余部分一样进行训练。我们假设软指数有潜力改进神经网络学习，因为它能精确计算许多典型神经网络只能近似的自然运算，包括加法、乘法、内积、距离、多项式和正弦曲线。
引用
@article{arxiv.1602.01321,
title = {A continuum among logarithmic, linear, and exponential functions, and its potential to improve generalization in neural networks},
author = {Luke B. Godfrey and Michael S. Gashler},
journal= {arXiv preprint arXiv:1602.01321},
year = {2016}
}
备注
6 pages, 8 figures, conference, In Proceedings of Knowledge Discovery and Information Retrieval (KDIR) 2015, Lisbon, Portugal, December 2015