一种用于大规模优化的计算高效有限内存 CMA-ES

Ilya Loshchilov

一种用于大规模优化的计算高效有限内存 CMA-ES

神经与进化计算 2014-04-23 v1

作者: Ilya Loshchilov

摘要

我们提出了一种用于大规模优化的计算高效的有限内存协方差矩阵适应进化策略，我们称之为 LM-CMA-ES。LM-CMA-ES 是一种随机、无导数算法，用于求解连续域中的非线性和非凸优化问题。受 Liu 和 Nocedal (1989) 的有限内存 BFGS 方法启发，LM-CMA-ES 根据由优化过程中选取的 $m$ 个方向向量重构的协方差矩阵来采样候选解。将协方差矩阵分解为 Cholesky 因子，使得采样的时间和内存复杂度降低至 $O(mn)$ ，其中 $n$ 为决策变量的个数。当 $n$ 较大时（例如 $n$ > 1000），即使 $m$ 取相对较小的值（例如 $m=20,30$ ），也足以高效求解完全不可分问题并减少总运行时间。

关键词

CMA-ES 大规模优化有限内存协方差矩阵无导数优化 Cholesky 分解

引用

@article{arxiv.1404.5520,
  title  = {A Computationally Efficient Limited Memory CMA-ES for Large Scale Optimization},
  author = {Ilya Loshchilov},
  journal= {arXiv preprint arXiv:1404.5520},
  year   = {2014}
}

备注

Genetic and Evolutionary Computation Conference (GECCO'2014) (2014)

一种用于大规模优化的计算高效有限内存 CMA-ES

摘要

关键词

引用

备注

相关论文