深度学习中的激活函数：综合综述与基准测试
机器学习
2022-06-29 v3 神经与进化计算
摘要
近年来，神经网络在解决大量问题方面展现出巨大发展。为处理不同类型问题，已引入多种类型的神经网络。然而，任何神经网络的主要目标都是通过分层结构将非线性不可分输入数据转换为更具线性可分性的抽象特征。这些层是线性与非线性函数的组合。最流行和常见的非线性层是激活函数（AFs），如 Logistic Sigmoid、Tanh、ReLU、ELU、Swish 和 Mish。本文对深度学习中神经网络的激活函数进行了全面的概述与综述。涵盖了不同类别的激活函数，如基于 Logistic Sigmoid 和 Tanh 的、基于 ReLU 的、基于 ELU 的以及基于学习的。还指出了激活函数的若干特性，如输出范围、单调性和平滑性。还在不同数据上用不同网络对 18 种最先进（state-of-the-art）的激活函数进行了性能比较。给出了激活函数的见解，以裨益研究人员的进一步研究和从业者在不同选择间进行挑选。用于实验比较的代码发布于：\url{https://github.com/shivram1987/ActivationFunctions}。
引用
@article{arxiv.2109.14545,
title = {Activation Functions in Deep Learning: A Comprehensive Survey and Benchmark},
author = {Shiv Ram Dubey and Satish Kumar Singh and Bidyut Baran Chaudhuri},
journal= {arXiv preprint arXiv:2109.14545},
year = {2022}
}
备注
Accepted in Neurocomputing, Elsevier