不确定域中神经演化 PGA-MAP-Elites 的实证分析
神经与进化计算
2023-04-26 v1
摘要
质量-多样性算法（其中包括 MAP-Elites）已成为仅追求性能优化的方法的有力替代方案，因为它们能够针对优化问题生成多样且高性能的解集合。然而，它们通常局限于低维搜索空间和确定性环境。最近提出的策略梯度辅助 MAP-Elites（PGA-MAP-Elites）算法通过将 MAP-Elites 的传统遗传算子与受深度强化学习启发的基于梯度的算子配对，克服了这一局限。这一新算子利用策略梯度引导变异朝向高性能解。在这项工作中，我们对 PGA-MAP-Elites 进行了深入研究。我们证明了在考虑不确定域时，策略梯度对该算法性能及所生成解的可复现性具有益处。我们首先证明 PGA-MAP-Elites 在确定性和不确定的高维环境中均具有极高性能，从而解耦了其应对的两项挑战。其次，我们表明除了超越所有考虑的基线外，PGA-MAP-Elites 生成的解集合在不确定的环境中具有高度可复现性，接近于专为不确定应用构建的质量-多样性方法所求解的可复现性。最后，我们对基于策略梯度的变异动态进行了消融与深入分析。我们证明策略梯度变异算子对于保证 PGA-MAP-Elites 的性能具有决定性意义，但仅在该过程的早期阶段必不可少，此时它找到了搜索空间中的高性能区域。
引用
@article{arxiv.2210.13156,
title = {Empirical analysis of PGA-MAP-Elites for Neuroevolution in Uncertain Domains},
author = {Manon Flageat and Felix Chalumeau and Antoine Cully},
journal= {arXiv preprint arXiv:2210.13156},
year = {2023}
}
备注
submitted to Transactions on Evolutionary Learning and Optimization