寻找黄金激活函数之路

深度神经网络已被证明对多种任务有益，特别是实现了端到端学习并减少了对人工设计决策的需求。然而，仍有许多参数必须预先选定，这也提出了优化这些参数的需求。一个重要但常被忽视的系统参数是合适激活函数的选择。因此，本文旨在论证激活函数总体而言的重要性，并表明对于不同任务不同的激活函数可能是有意义的。为了避免人工设计或选择激活函数，我们基于遗传算法的思想来学习给定任务的最佳激活函数。此外，我们引入了两个新的激活函数ELiSH和HardELiSH，它们可轻易纳入我们的框架中。通过这种方式，我们在三个不同的图像分类基准上证明学习到了不同的激活函数，并且相较于通常使用的基线也显示出改进的结果。