Syllabus：面向强化学习智能体的可移植课程库
人工智能
2025-08-05 v2
摘要
课程学习一直是强化学习许多高知名度成功案例中一个低调但关键的组成部分。尽管如此，它仍然是一个小众主题，没有得到任何主流强化学习库的直接支持。这些方法可以提升强化学习智能体的能力和泛化性，但通常需要对训练代码进行复杂的修改。我们推出 Syllabus，一个可移植的课程学习库，作为此问题的解决方案。Syllabus 为课程学习提供了通用 API、流行自动课程学习方法的模块化实现，以及使其能够轻松集成到几乎所有强化学习库的异步训练代码中的基础设施。Syllabus 为核心课程学习组件提供了最小化 API，使得设计新算法和将现有算法适配到新环境变得更加容易。我们通过在几个新环境中评估 Syllabus 中的算法来证明这一点，每个环境都使用在不同强化学习库中编写的智能体。我们首次展示了在 NetHack 和 Neural MMO 这两个最具挑战性的强化学习基准上的自动课程学习示例，并发现有证据表明现有方法无法直接迁移到复杂的新环境中。Syllabus 的代码库位于 https://github.com/RyanNavillus/Syllabus。
引用
@article{arxiv.2411.11318,
title = {Syllabus: Portable Curricula for Reinforcement Learning Agents},
author = {Ryan Sullivan and Ryan Pégoud and Ameen Ur Rehman and Xinchen Yang and Junyun Huang and Aayush Verma and Nistha Mitra and John P. Dickerson},
journal= {arXiv preprint arXiv:2411.11318},
year = {2025}
}
备注
RLC 2025