组合生成的分段激活函数
神经与进化计算
2016-05-18 v1
摘要
在神经进化文献中，研究主要集中于进化人工神经网络中的节点数、连接数和权重。尝试进化激活函数的很少。进化激活函数的研究主要集中于进化函数参数，以及通过从固定激活函数池中选取来开发异构网络。本文介绍了一种通过组合生成分段激活函数以增强表达能力来进化异构人工神经网络的新技术。我在基于 ArcTan 和 Sigmoid 的 NeuroEvolution of Augmenting Topologies 上演示了该技术，并表明其在非马尔可夫双杆平衡任务上优于原始算法。该技术通过证明非传统激活函数与传统选择具有竞争力，拓展了非传统激活函数的图景，并为进一步探索人工神经网络的自动模型选择提供了视野。
引用
@article{arxiv.1605.05216,
title = {Combinatorially Generated Piecewise Activation Functions},
author = {Justin Chen},
journal= {arXiv preprint arXiv:1605.05216},
year = {2016}
}