通过扩展协方差矩阵适应MAP-退火训练多样化高维控制器
机器人学
2023-09-19 v3 机器学习
神经与进化计算
摘要
在仿真中预训练一组多样化的神经网络控制器已使机器人能够在运动任务中在线适应损伤。然而，寻找多样化且高性能的控制器需要昂贵的网络训练以及对大量超参数的广泛调优。另一方面，协方差矩阵适应MAP-退火（CMA-MAE）作为一种基于进化策略（ES）的质量多样性算法，不存在这些局限，并在标准QD基准上取得了最先进的性能。然而，由于其二次复杂度，CMA-MAE无法扩展到现代神经网络控制器。我们利用ES中的高效近似方法，提出了三种可扩展到高维度的新CMA-MAE变体。我们的实验表明，这些变体在基准机器人运动任务中优于基于ES的基线，同时与最先进的基于深度强化学习的质量多样性算法相当或更优。
关键词
引用
@article{arxiv.2210.02622,
title = {Training Diverse High-Dimensional Controllers by Scaling Covariance Matrix Adaptation MAP-Annealing},
author = {Bryon Tjanaka and Matthew C. Fontaine and David H. Lee and Aniruddha Kalkar and Stefanos Nikolaidis},
journal= {arXiv preprint arXiv:2210.02622},
year = {2023}
}
备注
Source code and videos available at https://scalingcmamae.github.io