激活函数：深度学习实践中与研究中的趋势比较
机器学习
2018-11-09 v1 计算机视觉与模式识别
摘要
深度神经网络已成功应用于多种新兴领域，以解决现实世界的复杂问题，迄今已有更多深度学习（DL）架构被提出。为取得这些最优性能，DL架构使用激活函数（AFs）在任何给定DL架构的隐藏层与输出层之间执行多样计算。本文对深度学习中现有AFs进行综述，并强调深度学习应用中激活函数使用的最新趋势。本文的新颖之处在于汇编了DL中使用的大多数AFs，并概述了在实际深度学习部署中这些函数的应用与使用情况相对于最优研究结果的当前趋势。该汇编将有助于针对任何给定待部署应用，在最具合适性与恰当性的激活函数选择上作出有效决策。本文具有时效性，因为多数关于AF的研究论文强调相似的工作与结果，而本文尚属首例，将实践中AF应用趋势与迄今深度学习研究文献中的研究结果进行汇编对照。
引用
@article{arxiv.1811.03378,
title = {Activation Functions: Comparison of trends in Practice and Research for Deep Learning},
author = {Chigozie Nwankpa and Winifred Ijomah and Anthony Gachagan and Stephen Marshall},
journal= {arXiv preprint arXiv:1811.03378},
year = {2018}
}
备注
20 pages, 6 figures, 2 tables