流行人工神经网络激活函数的统一

Mohammad Mostafanejad

流行人工神经网络激活函数的统一

机器学习 2024-10-10 v3 人工智能神经与进化计算泛函分析

作者: Mohammad Mostafanejad

摘要

我们提出了最流行神经网络激活函数的统一表示。采用分数阶微积分的Mittag-Leffler函数,我们提出了一种灵活且紧凑的函数形式,能够在各种激活函数之间进行插值,并缓解训练神经网络中的常见问题,如梯度消失和梯度爆炸。所提出的门控表示将固定形状激活函数的范围扩展到其自适应对应物,其形状可从训练数据中学习。所提函数形式的导数也可以用Mittag-Leffler函数表示,使其成为基于梯度的反向传播算法的合适候选。通过在具有不同大小的各种数据集上训练不同复杂度的多个神经网络,我们证明了采用激活函数的统一门控表示为常规机器学习框架中激活函数的独立内置实现提供了一种有前景且负担得起的替代方案。

关键词

激活函数神经网络 Mittag-Leffler函数门控表示梯度消失反向传播分数阶微积分

引用

@article{arxiv.2302.11007,
  title  = {Unification of popular artificial neural network activation functions},
  author = {Mohammad Mostafanejad},
  journal= {arXiv preprint arXiv:2302.11007},
  year   = {2024}
}

备注

This paper will appear as accepted in Fract. Calc. Appl. Anal., at https://link.springer.com/journal/13540

流行人工神经网络激活函数的统一

摘要

关键词

引用

备注

相关论文