镜像自然进化策略

零阶优化已广泛应用于机器学习问题中。然而，零阶优化的理论研究多集中于利用随机方向上的（零阶）函数值差来近似（一阶）梯度的算法。通过零阶查询近似梯度与 Hessian 信息的算法理论则研究甚少。本文关注利用零阶查询近似的一阶与二阶信息的零阶优化理论。我们首先提出一个带参数 $(\mu, \Sigma)$ 的新重参数化目标函数。该重参数化目标函数分别在原始目标函数极小点与其 Hessian 逆处达到最优，但带有微小扰动。相应地，我们提出一种最小化所提重参数化目标的新算法，称之为 \texttt{MiNES}（镜像下降自然进化策略，mirror descent natural evolution strategy）。我们证明 \texttt{MiNES} 的估计协方差矩阵以收敛速率 $\widetilde{\mathcal{O}}(1/k)$ 收敛至目标函数的 Hessian 逆矩阵，其中 $k$ 为迭代次数，$\widetilde{\mathcal{O}}(\cdot)$ 隐藏常数与 $\log$ 项。我们还给出了 \texttt{MiNES} 的显式收敛速率以及协方差矩阵如何提升收敛速率。