通过多样性质量物种实现高效的质量-多样性优化
机器学习
2023-04-18 v1 人工智能
神经与进化计算
摘要
在单一目标上优化的一个普遍局限是它可能误入歧途，陷入局部最优。这可由质量-多样性(QD)算法纠正，该类算法偏好于问题的一组高质量且多样的解决方案。大多数传统QD方法，例如MAP-Elites，显式地管理一个行为存档，其中解决方案被划分到预定义的生态位中。在本工作中，我们表明可以在不需要存档或预先定义行为范围的局限下找到多样的解决方案群体。相反，我们将解决方案分解为独立演化的物种，并利用无监督技能发现来学习多样且高性能的解决方案。我们表明这可通过基于梯度的变异实现，后者采取信息论视角，联合最大化互信息与性能。我们提出多样性质量物种(DQS)作为基于存档的QD算法的替代方案。我们在若干模拟机器人环境中评估它，并表明其能从不同物种学习到多样的解决方案集合。此外，我们的结果表明与其他QD算法相比，DQS具有更高的样本效率与性能。相关代码与超参数可见于：https://github.com/rwickman/NEAT_RL。
引用
@article{arxiv.2304.07425,
title = {Efficient Quality-Diversity Optimization through Diverse Quality Species},
author = {Ryan Wickman and Bibek Poudel and Michael Villarreal and Xiaofei Zhang and Weizi Li},
journal= {arXiv preprint arXiv:2304.07425},
year = {2023}
}