面向强化学习智能体的近端课程
机器学习
2023-04-26 v1
摘要
我们考虑在情境化多任务设定下强化学习(RL)智能体的课程设计问题。现有的自动课程设计技术通常需要特定领域的超参数调优，或仅有有限的理论基础。为应对这些局限，我们受最近发展区(ZPD)这一教学概念启发，设计了课程策略 ProCuRL。ProCuRL 捕捉的直觉是：当所选任务对学习者而言既不太难也不太易时，学习进展最大化。我们通过分析两种简单学习设定，从数学上推导了 ProCuRL。我们还提出了 ProCuRL 的实用变体，可直接与深度 RL 框架集成，且只需极少的超参数调优。在多种领域的实验结果表明，我们的课程策略在加速深度 RL 智能体训练过程方面优于最先进的基线方法。
引用
@article{arxiv.2304.12877,
title = {Proximal Curriculum for Reinforcement Learning Agents},
author = {Georgios Tzannetos and Bárbara Gomes Ribeiro and Parameswaran Kamalaruban and Adish Singla},
journal= {arXiv preprint arXiv:2304.12877},
year = {2023}
}
备注
Published in Transactions on Machine Learning Research (TMLR) 2023