基于比较的步长自适应随机搜索在正齐次函数上的线性收敛：具广义五分之一成功规则的 (1+1) ES

在无约束数值优化的背景下，本文研究了一种简单概率无导数优化算法 (DFO) 的全局线性收敛性。该算法从以当前解为中心、由步长缩放的标准多元正态分布中采样候选解。若该解的目标函数值优于当前解，则予以接受。算法的关键在于步长自适应，旨在维持特定的成功概率。该算法早在 20 世纪 60 年代即已提出，是著名的 Rechenberg 具五分之一成功规则的 $(1+1)$ 进化策略 (ES) 的推广，Devroye 曾将其命名为复合随机搜索，Schumer 和 Steiglitz 则称之为步长自适应随机搜索。除了无导数特性外，该算法还是无函数值的：它仅通过比较来利用目标函数。它属于基于比较的步长自适应随机搜索 (CB-SARS) 类。对于收敛性分析，我们遵循 companion paper 中开发的用于研究 CB-SARS 线性收敛的方法论：通过利用算法的不变性性质，我们将缩放不变函数上的全局线性收敛研究转化为底层归一化马尔可夫链 (MC) 的稳定性研究。因此，我们通过研究与 $(1+1)$-ES 相关的归一化 MC 的稳定性（不可约性、常返性、正性、几何遍历性）证明了全局线性收敛。更确切地说，我们证明了从任意初始解和任意步长出发，几乎必然且期望意义下的线性收敛都会发生。我们的证明适用于由严格递增函数与次数为 $\alpha$ 的正齐次函数（假设也是连续可微的）复合而成的单峰函数。此类函数包括范数函数的复合，也包括非拟凸函数。由于与严格递增函数的复合，它还包括不连续函数。我们发现，全局线性收敛的一个充分条件是步长在直线函数上增加，这一条件通常在标准参数选择下得到满足。尽管该算法早在 40 多年前就被引入，但我们在此提供了具广义五分之一成功规则的 $(1+1)$-ES 全局线性收敛的第一个证明，以及 CB-SARS 在此类包含非拟凸和非连续函数的函数类上线性收敛的第一个证明。我们的证明也适用于此前已证明某些 CB-SARS 具有线性收敛性的函数，即凸二次函数（包括著名的球函数）。