深度神经网络常用激活函数的综述与比较
机器学习
2020-10-20 v1 神经与进化计算
摘要
神经网络的主要决策单元是激活函数。此外，它们评估网络神经节点的输出；因此，它们对整个网络的性能至关重要。因此，在神经网络计算中选取最合适的激活函数十分关键。Acharya 等人（2018）指出，多年来已提出众多方案，尽管其中一些因在某些条件下无法正常工作而被视为过时。这些函数具有多种特性，被认为对成功学习至关重要。其单调性、各自的导数以及值域的有限性是其中的一些特性（Bach 2017）。本研究论文将评估常用的加性函数，如 swish、ReLU、Sigmoid 等。随后将介绍它们的性质、各自的优缺点，以及具体的公式应用建议。
引用
@article{arxiv.2010.09458,
title = {Review and Comparison of Commonly Used Activation Functions for Deep Neural Networks},
author = {Tomasz Szandała},
journal= {arXiv preprint arXiv:2010.09458},
year = {2020}
}