带重组的演化策略在尺度不变函数上的全局线性收敛性
最优化与控制
2022-10-25 v3 概率论
摘要
演化策略（ES）是一类随机无导数优化算法，其最具代表性的 CMA-ES 算法被广泛用于求解困难的数值优化问题。我们首次严格研究了涉及种群与重组的步长自适应 ES 的线性收敛性，这两个要素在实践中对鲁棒应对局部不规则或多模态至关重要。我们研究步长自适应 ES 在严格递增函数与具有全局最优的连续可微尺度不变函数之复合上、带加权重组的收敛性。该类函数包含具有非凸子水平集的函数与不连续函数。我们证明存在常数 r，使得到最优点的距离之对数除以迭代次数收敛于 r。该常数作为某马尔可夫链平稳分布的期望给出——其符号可用于推断 ES 的线性收敛或发散，并经由数值求得。我们的主要收敛条件是线性函数上期望对数步长的增长。与先前结果相反，我们的条件等价于线性函数上步长以几乎必然几何方式发散。
引用
@article{arxiv.2107.08847,
title = {Global linear convergence of Evolution Strategies with recombination on scaling-invariant functions},
author = {Cheikh Touré and Anne Auger and Nikolaus Hansen},
journal= {arXiv preprint arXiv:2107.08847},
year = {2022}
}