将 MAP-Elites 扩展至深度神经进化
神经与进化计算
2020-06-08 v3 人工智能
机器学习
摘要
质量-多样性（QD）算法，尤其是 MAP-Elites（ME），已在广泛应用中被证明非常有用，包括使真实机器人在关节损伤后快速恢复、解决强欺骗性迷宫任务或演化机器人形态以发现新步态。然而，当前 MAP-Elites 及其他 QD 算法的实现似乎局限于参数远少于现代深度神经网络模型的低维控制器。本文中，我们提议利用进化策略（ES）的高效性将 MAP-Elites 扩展至由大型神经网络参数化的高维控制器。我们设计并评估了一种称为 MAP-Elites 结合进化策略（ME-ES）的新型混合算法，用于传统 ME 失效的困难高维控制任务中的损伤后恢复。此外，我们表明 ME-ES 在高维、具有强欺骗性奖励的控制任务中实现了高效探索，与最先进的探索算法相当。
引用
@article{arxiv.2003.01825,
title = {Scaling MAP-Elites to Deep Neuroevolution},
author = {Cédric Colas and Joost Huizinga and Vashisht Madhavan and Jeff Clune},
journal= {arXiv preprint arXiv:2003.01825},
year = {2020}
}
备注
Accepted to GECCO 2020