通过保留经验实现终身机器人强化学习

多任务学习理想情况下可使机器人获得多样化的有用技能。然而，许多多任务强化学习研究假设机器人能随时从所有任务中收集数据。现实中，机器人学习的任务依用户及其当前环境而顺序到达。本工作中，我们研究一个由物理机器人系统的实际约束所驱动的实用顺序多任务RL问题，并推导出有效的方法，利用先前任务所学的数据与策略逐步扩展机器人的技能集。在一系列模拟机器人操作实验中，我们的方法所需样本少于从零学习各任务的一半，同时避免了不切实际的轮询式数据收集。在Franka Emika Panda机械臂上，我们的方法逐步学习了十项挑战性任务，包括瓶盖旋紧与积木插入。