随机子空间中的随机信赖域算法及其收敛性与期望复杂度分析
最优化与控制
2024-09-26 v1 概率论
摘要
本工作通过引入 STARS（一种基于随机子空间迭代最小化的信赖域方法）提出了大规模随机无导数优化（DFO）框架。该框架既是基于随机模型的随机优化算法（STORM）的算法扩展也是其理论扩展。此外，STARS 通过在低维仿射子空间中最小化逼近目标函数的插值模型实现可扩展性，从而显著降低每次迭代的函数评估代价，并在大规模随机 DFO 问题上取得强劲表现。当用户确定的子空间维度（例如由所谓 Johnson-Lindenstrauss 变换的列所定义）时，该维度与问题维度无关。为收敛起见，子空间的特定质量以及随机函数估计与模型的精度需以足够高但固定的概率成立。在上述假设下利用鞅理论，证明了 STARS 几乎必然全局收敛至一阶驻点，并证明达到所需一阶精度所需的期望迭代次数与 STORM 及其他随机 DFO 算法同阶（至多差常数倍）。
引用
@article{arxiv.2207.06452,
title = {Stochastic trust-region algorithm in random subspaces with convergence and expected complexity analyses},
author = {Kwassi Joseph Dzahini and Stefan M. Wild},
journal= {arXiv preprint arXiv:2207.06452},
year = {2024}
}
备注
26 pages