通过混合激活函数进化简洁网络
神经与进化计算
2017-03-22 v1
摘要
神经进化方法进化神经网络的权重，在某些情况下还有拓扑结构，但分析进化单个节点激活函数对网络规模的影响所做工作甚少，而这在小样本训练网络时很重要。本工作中，我们扩展神经进化算法 NEAT，除网络拓扑和权重外还进化神经元的激活函数。使用所有节点统一激活函数（同质网络）的 NEAT 产生的网络规模与性能，与包含混合激活函数（异质网络）的网络进行比较。对于若干回归和分类基准，表明：(1) 定性不同的激活函数在同质网络中导致不同结果，(2) NEAT 的异质版本能够选择表现良好的激活函数，(3) 产生的异质网络显著小于同质网络。
引用
@article{arxiv.1703.07122,
title = {Evolving Parsimonious Networks by Mixing Activation Functions},
author = {Alexander Hagg and Maximilian Mensing and Alexander Asteroth},
journal= {arXiv preprint arXiv:1703.07122},
year = {2017}
}