深度学习激活函数综述：固定形状、参数化、自适应、随机、杂项、非标准、集成

在深度学习模型的体系结构中，受生物神经元的启发，激活函数（AF）发挥着关键作用。它们显著影响人工神经网络的性能。通过调节学习复杂模式所必需的非线性特性，AF是分类和回归任务中的基本要素。本文综述了各种类型的AF，包括固定形状、参数化、自适应、随机/概率性、非标准以及集成/组合类型。我们首先提出了系统的分类框架和详细的分类体系，阐明了AF的主要特征，并根据其结构和功能差异进行组织。我们的深入分析涵盖了包括基于sigmoid、ReLU和ELU的主要组别，讨论了它们的理论基础、数学公式以及在不同情境下的具体优势和局限性。我们还强调了AF的关键属性，如输出范围、单调性和光滑性。此外，我们探讨了不符合这些类别但在特定应用中显示出独特优势的杂项AF。也探索了非标准AF，展示了挑战传统范式的前沿变体，提供更大的灵活性和模型性能。我们检视了将多个AF组合以发挥互补特性的策略。本文以严格的统计和实验方法对12种最先进AF进行比较评估，以评估其效用。此分析不仅有助于实践者为其特定深度学习任务选择和设计最合适的AF，也鼓励机器学习社区在AF开发方面持续创新。