基于差分进化并结合质心策略与动态反向学习的神经网络训练
神经与进化计算
2021-06-30 v1
摘要
训练多层神经网络(MLNN)是一项具有挑战性的任务,涉及寻找合适的权重和偏置。MLNN训练十分重要,因为MLNN的性能主要取决于这些网络参数。然而,诸如基于梯度的方法等传统算法虽被广泛用于MLNN训练,却存在易于陷入局部最优等缺陷。基于种群的元启发式算法可用于克服这些问题。本文中,我们提出一种新颖的MLNN训练算法CenDE-DOBL,它基于差分进化(DE)、质心策略(Cen-S)和动态反向学习(DOBL)。Cen-S方法将最优个体的质心作为种群的一个成员,而其他成员使用标准交叉和变异算子更新。这改善了开发能力,因为新成员是基于最优个体获得的,而所采用的DOBL策略利用个体的反向,带来了增强的探索能力。我们的大量实验将CenDE-DOBL与26种传统和基于种群的算法进行比较,证实其提供了优异的MLNN训练性能。
引用
@article{arxiv.2106.15392,
title = {Differential Evolution-based Neural Network Training Incorporating a Centroid-based Strategy and Dynamic Opposition-based Learning},
author = {Seyed Jalaleddin Mousavirad and Diego Oliva and Salvador Hinojosa and Gerald Schaefer},
journal= {arXiv preprint arXiv:2106.15392},
year = {2021}
}
备注
IEEE Congress on Evolutionary Computation 2021 (CEC2021), 8 pages