基于元启发式的神经网络权重与激活节点同步优化
神经与进化计算
2017-07-07 v1
摘要
神经网络的优化受其激活节点中所用传递函数的显著影响。已观察到激活节点的同质性并不能提供最佳解。因此，采用底层参数参与优化的可定制传递函数，以赋予神经网络异质性。出于实验目的，使用了一种基于连接权重与传递函数参数组合基因型表示的元启发式框架。分析了自适应 Logistic、双曲正切（Tangent-hyperbolic）、高斯和 Beta 函数的性能。本研究工作给出了不同传递函数之间以及不同神经网络优化算法之间的简明比较。在基准数据集上所获结果的综合分析表明，具有自适应传递函数的人工蜂群算法在分类精度上优于粒子群优化与差分进化，提供了最佳结果。
引用
@article{arxiv.1707.01810,
title = {Simultaneous Optimization of Neural Network Weights and Active Nodes using Metaheuristics},
author = {Varun Kumar Ojha and Ajith Abraham and Vaclav Snasel},
journal= {arXiv preprint arXiv:1707.01810},
year = {2017}
}