无导数全局优化算法：贝叶斯方法与 Lipschitz 方法
机器学习
2019-04-23 v1 机器学习
摘要
本文将介绍可潜在应用于训练深度学习模型的无导数优化算法。现有深度学习模型训练主要基于反向传播算法，利用梯度下降算法或其变体逐层更新模型变量。然而，待优化的深度学习模型目标函数通常是非凸的，基于一阶导数的梯度下降算法极易陷入局部最优。为解决该问题，已提出多种局部或全局优化算法，可大幅改善深度学习模型训练。代表性例子包括贝叶斯方法、Shubert-Piyavskii 算法、Direct、LIPO、MCS、GA、SCE、DE、PSO、ES、CMA-ES、爬山算法和模拟退火等。本文介绍其中一部分算法（包括贝叶斯方法和 Lipschitz 方法，如 Shubert-Piyavskii 算法、Direct、LIPO 和 MCS），其余算法（包括基于种群的优化算法，如 GA、SCE、DE、PSO、ES 和 CMA-ES，以及随机搜索算法，如爬山算法和模拟退火）将在后续论文 [18] 中详细介绍。
引用
@article{arxiv.1904.09365,
title = {Derivative-Free Global Optimization Algorithms: Bayesian Method and Lipschitzian Approaches},
author = {Jiawei Zhang},
journal= {arXiv preprint arXiv:1904.09365},
year = {2019}
}