深度学习中激活函数的进化优化
机器学习
2020-04-14 v2 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
激活函数的选择对神经网络性能有很大影响。尽管已有一些手工设计新型激活函数的尝试,修正线性单元(ReLU)在实践中仍最为常用。本文表明进化算法能够发现优于ReLU的新型激活函数。我们定义了一种基于树的候选激活函数搜索空间,并通过变异、交叉与穷举搜索进行探索。在CIFAR-10与CIFAR-100图像数据集上训练宽残差网络(wide residual networks)的实验表明该方法有效。以进化所得激活函数替换ReLU可带来统计显著的网络准确率提升。当允许进化针对特定任务定制激活函数时性能最优;然而这些新型激活函数被证明具有泛化能力,可在不同任务上取得高性能。因此,激活函数的进化优化是神经网络元学习中一个大有前景的新维度。
引用
@article{arxiv.2002.07224,
title = {Evolutionary Optimization of Deep Learning Activation Functions},
author = {Garrett Bingham and William Macke and Risto Miikkulainen},
journal= {arXiv preprint arXiv:2002.07224},
year = {2020}
}
备注
8 pages; 9 figures/tables; GECCO 2020