(1+1)-进化策略在凸二次函数上基于成功步长自适应的收敛速率

在分析一般凸二次函数及其单调变换，即 $f(x) = g((x - x^*)^\mathrm{T} H (x - x^*))$ 上的具有基于成功步长自适应的 (1+1)-进化策略（ES），其中 $g:\mathbb{R}\to\mathbb{R}$ 是严格增函数，$H$ 为正定对称矩阵，$x^* \in \mathbb{R}^d$ 为 $f$ 的最优解。证明了收敛速率，即搜索点 $m_t$ 到最优解 $x^*$ 的距离的下降速率为 $O(\exp( - L / \mathrm{Tr}(H) ))$，其中 $L$ 为 $H$ 的最小特征值，$\mathrm{Tr}(H)$ 为 $H$ 的迹。该结果推广了已知在 $H = I_{d}$（$I_d$ 为 $d$ 维单位矩阵）情形下的 $O(\exp(- 1/d ))$ 速率，以及 $H = \mathrm{diag}(\xi \cdot I_{d/2}, I_{d/2})$ 情形下的 $O(\exp(- 1/ (d\cdot\xi) ))$ 速率。据我们所知，这是首次在一般凸二次函数上显式且严格地导出 (1+1)-ES 收敛速率的研究，其刻画了 Hessian 矩阵 $H$ 中特征值分布对优化的影响，而不仅仅是 $H$ 的条件数之影响。