规模化并行 CMA-ES 与递增人口
分布式、并行与集群计算
2024-10-02 v2
摘要
递增人口协方差矩阵适应演化策略（IPOP-CMA-ES）算法是一种专为黑箱优化而设计的参考随机优化器，其中不依赖于关于底层问题结构的任何先验知识。本文旨在通过高性能计算和并行化加速 IPOP-CMA-ES 以解决大规模优化问题。我们首先展示了如何引入 BLAS 和 LAPACK 例程于线性代数运算中，然后提出了两种在拥有数千个 CPU 核心的大规模并行架构上高效部署 IPOP-CMA-ES 的策略。第一种并行策略以与顺序 IPOP-CMA-ES 相同的顺序处理多个搜索，而第二种策略则并行处理这些多个搜索。这两种策略在 MPI+OpenMP 中实现，并在 Fugaku 超级计算机的 6144 个核心上进行比较。我们实现了显著的加速（最高可达数千倍），甚至出现超线性加速，并对结果进行深入分析以精确理解第二种策略的卓越性能。
引用
@article{arxiv.2409.11765,
title = {Massively parallel CMA-ES with increasing population},
author = {David Redon and Pierre Fortin and Bilel Derbel and Miwako Tsuji and Mitsuhisa Sato},
journal= {arXiv preprint arXiv:2409.11765},
year = {2024}
}