变度量随机追踪
最优化与控制
2014-10-02 v3
摘要
我们考虑在无梯度设置下对光滑凸目标函数进行无约束随机优化。我们分析了具有固定度量 (F-RP) 和变度量 (V-RP) 的随机追踪 (RP) 算法。这些算法仅使用关于目标函数的零阶信息，并通过在随机选择的一维子空间上重复优化来计算近似解。搜索方向的分布由所选度量决定。变度量 RP 使用了 Leventhal 和 Lewis 最近引入的随机零阶 Hessian 近似方案的新变体 (D. Leventhal and A. S. Lewis., Optimization 60(3), 329--245, 2011)。在此，我们提出：(i) 对 RP 算法单步期望进展及其在（严格）凸函数上的全局收敛性的改进分析；(ii) V-RP 在强凸函数上的新收敛界。我们还量化了所采用的度量需要与函数的局部几何结构匹配到何种程度，才能使 RP 算法以最佳可能的速率收敛。我们的理论结果辅以数值实验，将 V-RP 与无导数方案 CMA-ES、Implicit Filtering、Nelder-Mead、NEWUOA、Pattern-Search 以及 Nesterov 的无梯度算法进行了比较。
引用
@article{arxiv.1210.5114,
title = {Variable Metric Random Pursuit},
author = {Sebastian U. Stich and Christian L. Müller and Bernd Gärtner},
journal= {arXiv preprint arXiv:1210.5114},
year = {2014}
}
备注
42 pages, 6 figures, 15 tables, submitted to journal, Version 3: majorly revised second part, i.e. Section 5 and Appendix