通过专家示范实现自动课程学习
机器学习
2022-02-08 v3 机器人学
摘要
我们提出了通过专家示范实现自动课程学习（ACED），这是一种结合模仿学习与课程学习思想的强化学习（RL）方法，用于解决具有稀疏奖励函数的挑战性机器人操作任务。课程学习通过引入一系列难度递增的辅助任务来解决复杂的RL任务，然而如何自动设计有效且可泛化的课程仍是一个具有挑战性的研究问题。ACED通过将示范轨迹划分为若干段，并将训练回合初始化为从示范不同段中采样得到的状态，从而从少量专家示范轨迹中提取课程。随着学习智能体性能的提升，通过将重置状态从示范的末尾移动到开头，ACED不仅学会了具有未见过的初始化和目标的挑战性操作任务，还发现了不同于示范的新颖解决方案。此外，ACED可自然地与其它模仿学习方法结合，以更高效的方式利用专家示范，并且我们展示了ACED与行为克隆的结合使得拾放任务仅需1条示范即可学习，而积木堆叠任务可用20条示范学会。
引用
@article{arxiv.2106.09159,
title = {Automatic Curricula via Expert Demonstrations},
author = {Siyu Dai and Andreas Hofmann and Brian Williams},
journal= {arXiv preprint arXiv:2106.09159},
year = {2022}
}
备注
NeurIPS 2021 Deep Reinforcement Learning Workshop