激活函数的演化：一项经验研究
神经与进化计算
2021-06-01 v1
摘要
神经网络的超参数传统上通过耗费时间的试错过程设计，且需要大量专家知识。神经架构搜索（NAS）算法旨在通过自动为手头问题找到一组良好超参数，将人排除在循环之外。这些算法大多聚焦于诸如隐藏层的架构配置与隐藏神经元的连接性之类的超参数，但在自动化搜索全新激活函数这一最为关键的超参数选择方面工作相对较少。当今有一些广泛使用、简单且表现良好的激活函数，但寻找更好激活函数的兴趣依然存在。文献中的工作大多聚焦于手工设计新激活函数，或从一组预定义函数中选取，而本工作提出一种演化算法以自动化搜索全新激活函数。我们将这些新演化出的激活函数与其他现有且常用的激活函数进行比较。结果有利，且通过对所发现激活函数在 30 次运行上的表现取平均获得，实验在 10 个不同数据集与架构上进行，以确保研究的统计稳健性。
引用
@article{arxiv.2105.14614,
title = {Evolution of Activation Functions: An Empirical Investigation},
author = {Andrew Nader and Danielle Azar},
journal= {arXiv preprint arXiv:2105.14614},
year = {2021}
}