离线强化学习设定下基于视觉的机器人操作任务的序列学习

随着深度强化学习（RL）方法的兴起，许多复杂的机器人操作任务正被解决。然而，要充分发挥深度学习的威力需要大型数据集。在线 RL 由于智能体与环境交互代价高昂且耗时，不易适应这一范式。因此近来许多离线 RL 算法被提出以学习机器人任务。但主要地，所有此类方法聚焦于单任务或多任务学习，这要求每当我们需学习新任务时重新训练。持续学习任务而不遗忘先前知识，并结合离线深度 RL 的力量，将使我们能够通过逐一不断添加任务来扩展任务数量。本文中，我们研究了基于正则化的方法（如突触智能）在离线 RL 设定中序列学习基于图像的机器人操作任务的有效性。我们针对序列学习的常见挑战——灾难性遗忘与前向知识迁移，评估了该组合框架的性能。我们通过不同任务组合实验来分析任务顺序的影响。我们还研究了物体配置数量与机器人轨迹密度的影响。我们发现序列学习任务有助于先前任务知识的传播，从而减少学习新任务所需时间。基于正则化的持续学习方法如突触智能方法虽有助于缓解灾难性遗忘，但仅显示出从先前任务有限的知识的迁移。