利用组合多目标进化算法通过多个踏脚石演化多模态机器人行为
神经与进化计算
2019-12-12 v2
摘要
强化学习（包括进化机器人学）中的一个重要挑战是解决多模态问题，即智能体必须根据环境以质上不同的方式行动。由于多模态问题通常难以直接求解，利用分阶段是有帮助的：将困难任务划分为较简单的子任务，这些子任务可作为解决整体问题的踏脚石。遗憾的是，为这些子任务选择有效的顺序很困难，而糟糕的顺序会降低学习过程的速度与性能。在此，我们提供对组合多目标进化算法（CMOEA）的详尽介绍与研究，该算法通过允许同时探索所有子任务组合来避免对子任务排序。我们将 CMOEA 与两种同样可同时优化多个子任务的算法进行比较：NSGA-II 与 Lexicase Selection。算法在一个含六个子任务的多模态机器人问题以及一个含百个子任务的迷宫导航问题上进行了测试。在这些问题上，CMOEA 优于对照组或与对照组相当。另外，我们表明对所有目标添加线性组合可提升 NSGA-II 解决此类多模态问题的能力。最后，我们表明与 NSGA-II 和 Lexicase Selection 不同，CMOEA 能有效利用次要目标在机器人任务上取得最先进结果。总体而言，我们的实验表明 CMOEA 是解决多模态问题的一个有前景的、最先进的算法。
引用
@article{arxiv.1807.03392,
title = {Evolving Multimodal Robot Behavior via Many Stepping Stones with the Combinatorial Multi-Objective Evolutionary Algorithm},
author = {Joost Huizinga and Jeff Clune},
journal= {arXiv preprint arXiv:1807.03392},
year = {2019}
}