面向难探索问题的自适应程序化任务生成
机器学习
2021-03-19 v3 机器人学
机器学习
摘要
我们提出自适应程序化任务生成(APT-Gen),一种逐步生成一系列任务作为课程以促进难探索问题中强化学习的方法。该方法的核心在于,一个任务生成器通过黑盒程序化生成模块从参数化任务空间中创建任务。为在无直接学习进度指标的情况下实现课程学习,我们提出通过平衡智能体在生成任务中的表现以及与目标任务的相似度来训练任务生成器。通过对抗训练,任务相似度由定义在智能体经验上的任务判别器自适应估计,使得所生成任务能够逼近参数未知或位于预定义任务空间之外的目标任务。我们在网格世界与机器人操作任务域上的实验表明,APT-Gen 通过生成具有丰富变化的合适任务,取得了比多种现有基线明显更优的性能。
引用
@article{arxiv.2007.00350,
title = {Adaptive Procedural Task Generation for Hard-Exploration Problems},
author = {Kuan Fang and Yuke Zhu and Silvio Savarese and Li Fei-Fei},
journal= {arXiv preprint arXiv:2007.00350},
year = {2021}
}
备注
ICLR 2021