随机子空间中的直接搜索随机优化：零阶、一阶和二阶收敛性及期望复杂度
最优化与控制
2024-03-21 v1
摘要
本文的工作源于StoDARS框架的开发，这是一个用于大规模随机黑箱优化的框架，它不仅是随机方向直接搜索（SDDS）框架的算法和理论扩展，还将最近提出的降维空间直接搜索算法（DARS）框架扩展到了含噪目标函数。与SDDS不同，StoDARS通过使用由Haar分布正交矩阵的Johnson-Lindenstrauss变换（JLT）列定义的随机子空间中生成的个搜索方向来实现可扩展性。出于理论需要，这些子空间的质量以及算法使用的随机估计的准确性需要以足够大但固定的概率成立。通过利用一个现有的基于超鞅的框架，证明了当目标函数连续可微时，StoDARS的期望复杂度与SDDS和其他全空间随机方法在常数因子内相似。通过放宽后一个假设，建立了StoDARS以概率1收敛到Clarke稳定点的结论。此外，本文还将基于Rademacher定理定义的Clarke次微分（即广义Hessian矩阵）的二阶类扩展的网格自适应直接搜索（MADS）算法的二阶行为分析扩展到了StoDARS框架，据我们所知，这是随机直接搜索设置中的首次。
引用
@article{arxiv.2403.13320,
title = {Direct search for stochastic optimization in random subspaces with zeroth-, first-, and second-order convergence and expected complexity},
author = {K. J. Dzahini and S. M. Wild},
journal= {arXiv preprint arXiv:2403.13320},
year = {2024}
}
备注
30 pages