演化策略在光滑强凸以外函数上的全局线性收敛性
数值分析
2022-02-09 v2 数值分析
摘要
演化策略(ESs)是对目标函数的单调变换保持不变的零阶随机黑盒优化启发式方法。它们演化一个多元正态分布,并从中生成候选解。在不同变体中,CMA-ES 如今被公认为困难问题最先进的零阶优化器之一。尽管有大量经验证据表明带步长控制机制的 ESs 线性收敛,但 ESs 线性收敛的理论保证仅在有限函数类上建立。特别是,关于凸函数的理论结果尚缺,而零阶乃至一阶优化方法常在此类函数上被分析。本文中,我们建立了几乎必然线性收敛性,并给出了一个 ES 族(即 -ES,其包含带(广义)五分之一成功规则的 (1+1)-ES 以及具有有界条件数的抽象协方差矩阵自适应)在广泛函数类上的期望命中时间界。该分析对正齐次函数与二次有界函数的单调变换成立,后者尤其包含具有 Lipschitz 连续梯度的强凸函数的单调变换。据作者所知,这是首个证明 ES 在此广泛函数类上线性收敛的工作。
引用
@article{arxiv.2009.08647,
title = {Global Linear Convergence of Evolution Strategies on More Than Smooth Strongly Convex Functions},
author = {Youhei Akimoto and Anne Auger and Tobias Glasmachers and Daiki Morinaga},
journal= {arXiv preprint arXiv:2009.08647},
year = {2022}
}
备注
SIAM Journal on Optimization (Accepted)