镜像自然进化策略

协方差矩阵自适应进化策略（CMA-ES）与自然进化策略（NES）等进化策略已广泛应用于机器学习任务中，其在不使用目标函数导数的情况下进行优化。然而，这些算法的收敛行为尚未被细致研究。特别是，对估计协方差矩阵的收敛缺乏严格分析，且不清楚估计协方差矩阵如何助力算法收敛。进化策略与无导数优化算法之间的关系亦不明确。本文中，我们提出一种与NES密切相关的新算法，称之为MiNES（镜像下降自然进化策略），可对其建立严格收敛结果。我们证明MiNES的估计协方差矩阵以次线性收敛速率收敛至目标函数海森矩阵的逆。此外，我们证明若干无导数优化算法是MiNES的特例。我们的实证研究表明，MiNES是一种查询高效的优化算法，可与包括NES和CMA-ES在内的经典算法竞争。