单隐层前馈神经网络架构的混合与进化元启发式方法研究
神经与进化计算
2025-06-23 v1 人工智能
摘要
使用随机梯度下降(SGD)训练人工神经网络(ANN)经常遇到困难，包括巨大的计算开销以及因依赖部分权重梯度而陷入局部最优的风险。因此，本研究探讨了粒子群优化(PSO)和遗传算法(GA)——两种基于种群的元启发式优化器(MHO)——作为SGD的替代方案，以缓解这些限制。我们开发了一种混合PSO-SGD策略来提高局部搜索效率。结果表明，相对于传统的GA和PSO，混合PSO-SGD技术在不同网络规模下（例如，在Sphere函数中，从约0.02降至约0.001）将中位数训练均方误差(MSE)降低了90%至95%。随机变异爬山法(RMHC)取得了显著改进，与GA相比，MSE降低了约85%至90%。同时，随机搜索(RS)的误差始终超过0.3，表明其性能不佳。这些发现强调，与传统的优化方法相比，混合和进化程序显著提高了训练效率和准确性，并暗示积木块假设(BBH)可能仍然有效，表明在进化搜索过程中保留了有利的权重结构。
引用
@article{arxiv.2506.15737,
title = {A Study of Hybrid and Evolutionary Metaheuristics for Single Hidden Layer Feedforward Neural Network Architecture},
author = {Gautam Siddharth Kashyap and Md Tabrez Nafis and Samar Wazir},
journal= {arXiv preprint arXiv:2506.15737},
year = {2025}
}