LM-CMA：大规模黑盒优化中L-BFGS的一种替代方法

Liu和Nocedal（1989）的有限内存BFGS方法（L-BFGS）通常被认为是当一阶和/或二阶信息可用时连续优化的首选方法。然而，在无法获得梯度信息因而需进行数值估计的黑盒场景下，L-BFGS的使用会变得复杂。通过有限差分方法获得的该估计精度通常依赖于问题，可能导致算法过早收敛。在本文中，我们展示了L-BFGS的一种替代方法，即Loshchilov（2014）提出的有限内存协方差矩阵适应进化策略（LM-CMA）。LM-CMA是一种用于非线性、非凸优化问题数值优化的随机无导数算法。受L-BFGS启发，LM-CMA根据从优化过程中选择的$m$个方向向量重现的协方差矩阵来采样候选解。将协方差矩阵分解为Cholesky因子可将内存复杂度降低至$O(mn)$，其中$n$为决策变量数。采样一个候选解的时间复杂度同样为$O(mn)$，但在实践中仅相当于约25次标量-向量乘法。该算法具有一个重要性质，即关于目标函数的严格递增变换的不变性，此类变换不会损害其逼近最优解的能力。LM-CMA在非可分病态问题上以随问题维度增加的因子优于原始CMA-ES及其大规模版本。算法的不变性性质并不妨碍其在非平凡大规模光滑与非光滑优化问题上展现出与L-BFGS相当的性能。