用于深度神经网络优化的进化随机梯度下降
机器学习
2018-10-17 v1 神经与进化计算
机器学习
摘要
我们提出一种基于种群的进化随机梯度下降（ESGD）框架，用于优化深度神经网络。ESGD将SGD与无梯度进化算法作为互补算法结合于一个框架中，其中优化在SGD步与进化步之间交替以提升种群的平均适应度。通过在SGD步中采用回退策略、在进化步中采用精英策略，它保证种群中的最佳适应度永不退化。此外，在SGD步中使用不同超参数、基于各类SGD优化器优化的种群个体被视为协同进化设定中的竞争物种，从而也考虑了优化器间的互补性。ESGD的有效性在包括语音识别、图像识别和语言建模的多种应用中，使用具有多种深度架构的网络得到了证明。
引用
@article{arxiv.1810.06773,
title = {Evolutionary Stochastic Gradient Descent for Optimization of Deep Neural Networks},
author = {Xiaodong Cui and Wei Zhang and Zoltán Tüske and Michael Picheny},
journal= {arXiv preprint arXiv:1810.06773},
year = {2018}
}