具有自动课程学习的内在动机目标探索过程
人工智能
2022-05-06 v3 机器学习
摘要
内在动机驱动的自发探索是人类儿童自主发展学习的关键促成因素。它通过自目的学习，即学习目标的自生成、自选择、自排序与自实验，实现了技能库的发现。我们提出了一种称为内在动机目标探索过程（IMGEP）的算法方法，以在机器中实现类似的自主学习特性。IMGEP 架构依赖于几个原则：1）目标的自生成，泛化为参数化适应度函数；2）基于内在奖励的目标选择；3）通过增量目标参数化策略搜索进行探索，并使用批量学习算法进行利用；4）系统性地重用在针对某一目标时获取的信息，以改进对其他目标的实现。我们提出了一种特别高效的 IMGEP 形式，称为 AMB，它使用基于种群的策略和以对象为中心的时空模块化。我们提供了该架构的几种实现，并证明了它们在多种实验设置中自动生成学习课程的能力。其中一项实验包含一个真实人形机器人在带有干扰项且具有数百个连续维度的多个目标空间中进行探索。尽管没有为这些自目的智能体提供特定的目标，该课程仍允许发现多种技能，这些技能作为学习更复杂技能（例如嵌套工具使用）的垫脚石。
引用
@article{arxiv.1708.02190,
title = {Intrinsically Motivated Goal Exploration Processes with Automatic Curriculum Learning},
author = {Sébastien Forestier and Rémy Portelas and Yoan Mollard and Pierre-Yves Oudeyer},
journal= {arXiv preprint arXiv:1708.02190},
year = {2022}
}
备注
Accepted at JMLR 2022