DARLEI：结合进化智能的深度加速强化学习
人工智能
2023-12-11 v1 神经与进化计算
摘要
我们提出了 DARLEI，一个将进化算法与并行强化学习相结合的框架，用于高效训练和进化 UNIMAL 智能体群体。我们的方法利用近端策略优化(PPO)进行个体智能体学习，并将其与基于锦标赛选择的代际学习机制配对，以促进形态进化。通过基于 Nvidia 的 Isaac Gym 构建，DARLEI 利用 GPU 加速模拟，在仅使用单个工作站的情况下实现了超过 20 倍的加速，而以往的工作需要大型分布式 CPU 集群。我们系统地刻画了 DARLEI 在各种条件下的性能，揭示了影响进化形态多样性的因素。例如，通过在模拟器中启用智能体间碰撞，我们发现可以模拟相同形态之间的一些多智能体交互，并观察它如何影响个体智能体能力和长期进化适应。尽管当前结果显示各代之间的多样性有限，我们希望在未来的工作中扩展 DARLEI，以包含在更丰富环境中多样化形态之间的交互，并创建一个允许共同进化群体和研究其中涌现行为的平台。我们的源代码也已公开发布于 https://saeejithnair.github.io/darlei。
引用
@article{arxiv.2312.05171,
title = {DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence},
author = {Saeejith Nair and Mohammad Javad Shafiee and Alexander Wong},
journal= {arXiv preprint arXiv:2312.05171},
year = {2023}
}
备注
9 pages