随机无导数优化中自适应采样信赖域方法的迭代复杂度与有限时间效率
最优化与控制
2024-01-18 v3 概率论
摘要
基于插值的自适应采样信赖域（ASTRO-DF）是一种成功的随机无导数优化算法，其概念易于理解和实现，并保证几乎必然收敛到一阶临界点。为降低其对问题维度的依赖，我们提出了基于坐标基在插值点上构建的对角 Hessian 局部模型。我们还尽可能以直接搜索方式利用插值点，以提升 ASTRO-DF 在有限时间内的性能。我们证明该算法几乎必然具有 的典型迭代复杂度，这是首个在不对函数估计质量、模型质量或二者间独立性作假设的情况下给出的此类保证。数值实验表明，由于早期迭代中节省和更优的步长，结合坐标直接搜索的 ASTRO-DF 具有计算优势。
引用
@article{arxiv.2305.10650,
title = {Iteration Complexity and Finite-Time Efficiency of Adaptive Sampling Trust-Region Methods for Stochastic Derivative-Free Optimization},
author = {Yunsoo Ha and Sara Shashaani},
journal= {arXiv preprint arXiv:2305.10650},
year = {2024}
}