用于行为空间快速照明的协方差矩阵自适应
机器学习
2020-05-08 v2 机器学习
摘要
我们关注在复杂连续域上寻找多样化高质量解集合的挑战。尽管像带局部竞争的新颖性搜索（NSLC）和 MAP-Elites 这样的质量多样性（QD）算法旨在生成多样化的解范围，这些算法在连续空间探索中需要大量评估。同时，协方差矩阵自适应进化策略（CMA-ES）的变体是单目标连续域中性能最好的无导数优化器之一。本文提出一种称为协方差矩阵自适应 MAP-Elites（CMA-ME）的新 QD 算法。我们的新算法将 CMA-ES 的自适应技术与用于保持 QD 多样性的存档和映射技术相结合。基于标准连续优化基准的实验结果表明，CMA-ME 比 MAP-Elites 找到更高质量的解；类似地，在策略游戏《炉石传说》上的结果表明，CMA-ME 比 CMA-ES 和 MAP-Elites 都找到了更高的总体质量和更广的策略多样性。总体而言，使用标准 QD 性能指标，CMA-ME 的性能是 MAP-Elites 的两倍多。这些结果表明，由最先进优化算法的算子增强的 QD 算法可以产生高性能方法，用于同时探索和优化连续搜索空间，在设计、测试和强化学习等领域具有重要应用。
引用
@article{arxiv.1912.02400,
title = {Covariance Matrix Adaptation for the Rapid Illumination of Behavior Space},
author = {Matthew C. Fontaine and Julian Togelius and Stefanos Nikolaidis and Amy K. Hoover},
journal= {arXiv preprint arXiv:1912.02400},
year = {2020}
}
备注
Accepted to GECCO 2020