激活函数三十年：面向神经网络的 400 种激活函数综合综述
机器学习
2024-02-15 v1 神经与进化计算
摘要
神经网络已被证明是解决生活许多领域中复杂问题的高效工具。最近，随着深度学习的出现，其重要性和实际可用性得到了进一步增强。神经网络成功的重要条件之一是选择合适的激活函数，为模型引入非线性。过去文献中提出了许多类型的激活函数，但没有一个单一的综合来源包含它们的详尽概述。根据我们的经验，这种概述的缺失导致了冗余和无意中重新发现已存在的激活函数。为了弥补这一空白，我们的论文呈现了一项涉及 400 种激活函数的广泛综述，其规模是先前综述的数倍。我们的综合汇编也引用了这些综述；然而，其主要目标是提供最全面的概述，并对先前发表的激活函数进行系统化整理，并附上其原始来源的链接。次要目标是更新对这一函数族的当前理解。
引用
@article{arxiv.2402.09092,
title = {Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks},
author = {Vladimír Kunc and Jiří Kléma},
journal= {arXiv preprint arXiv:2402.09092},
year = {2024}
}