改进的基于群的元启发式提升梯度下降初始化性能：在 EEG 空间滤波中的应用
神经与进化计算
2020-05-07 v2 机器学习
机器学习
摘要
梯度下降（GD）近似器常在具有多尺度凸性的解空间中失效，例如在子空间学习和神经网络场景中。为此，一种解决方案是从不同的随机初始状态多次运行 GD 并选取所有实验中的最优解。然而，该思路在许多情况下被证明不切实际。即便是像粒子群优化（PSO）或帝国主义竞争算法（ICA）这类常用作 GD 初始化器的基于群的优化器，在某些应用中也未能找到最优解。本文中，ICA 和 PSO 等基于群的优化器通过一种新的优化框架进行改进，以提升 GD 优化性能。该改进针对具有大量多尺度凸局部区的应用。所提方法的性能在 EEG 数据上的非线性子空间滤波目标函数中进行了分析。所提元启发式在 EEG 分类准确率和 EEG 损失函数适应度上均优于常用的基线优化器（作为 GD 初始化器）。这些优化器还在部分 CEC 2014 基准函数中相互比较，我们的方法再次优于其他算法。
引用
@article{arxiv.1907.08220,
title = {Modified swarm-based metaheuristics enhance Gradient Descent initialization performance: Application for EEG spatial filtering},
author = {Mojtaba Moattari and Mohammad Hassan Moradi and Reza Boostani},
journal= {arXiv preprint arXiv:1907.08220},
year = {2020}
}
备注
10 tables, 32 references, 11 formulas. arXiv admin note: text overlap with arXiv:1209.4115 by other authors