基于任务相关性的深度强化学习近端课程学习

强化学习(RL)的课程设计可以加速智能体的学习过程，并帮助其学习在复杂任务上表现良好。然而，现有技术通常需要特定领域的超参数调整，涉及昂贵的任务选择优化过程，或者仅适用于特定的学习目标。在这项工作中，我们考虑了上下文多任务设置中的课程设计，其中智能体的最终性能是根据复杂任务的目标分布来衡量的。我们的课程设计基于最近发展区概念，该概念已被证明能有效加速RL智能体在所有任务上均匀分布的学习过程。我们提出了一种新颖的课程，ProCuRL-Target，它通过利用任务相关性，有效地平衡了选择对智能体来说不太难的任务与推动智能体学习向目标分布前进的需求。我们通过分析一个使用REINFORCE学习器模型的简单学习设置，从理论上证明了ProCuRL-Target任务选择策略的合理性。我们在具有挑战性目标任务分布的各种领域上的实验结果，证实了我们的课程策略在加速深度RL智能体训练过程方面优于最先进的基线方法。