通过共轭梯度法与改进布谷鸟搜索混合的扩展MLP专家混合模型
人工智能
2012-02-20 v1
摘要
本文研究了一种新方法，通过使用改进布谷鸟搜索（MCS）和共轭梯度（CG）作为二阶优化技术的混合来改进专家混合（ME）模型的学习算法。将CG技术与反向传播（BP）算法相结合，为ME结构产生更高效的学习算法。此外，增强模型中的专家网络和门控网络被替换为基于CG的多层感知器（MLP），以提供更快更准确的学习。CG严重依赖于人工神经网络（ANN）连接的初始权重，因此应用一种元启发式算法——改进布谷鸟搜索来选择最优权重。将所提方法的性能与基于梯度下降的ME（GDME）和基于共轭梯度的ME（CGME）在分类和回归问题上进行比较。实验结果表明，混合MSC和CG的ME（MCS-CGME）在使用的基准数据集上具有更快的收敛速度和更好的性能。
引用
@article{arxiv.1202.3887,
title = {Extended Mixture of MLP Experts by Hybrid of Conjugate Gradient Method and Modified Cuckoo Search},
author = {Hamid Salimi and Davar Giveki and Mohammad Ali Soltanshahi and Javad Hatami},
journal= {arXiv preprint arXiv:1202.3887},
year = {2012}
}
备注
13 pages, 2 figures