通过难度条件生成器实现可迁移课程

强化学习（RL）的进展已在星际争霸、围棋、国际象棋等复杂任务中展现出超越人类的表现。然而，将知识从人工智能“专家”迁移到人类仍是一项重大挑战。此类迁移的一个有前景的途径是使用课程。近来的课程生成方法侧重于高效训练 RL 智能体，但这些方法依赖替代度量来追踪学生进度，并不适用于在现实世界中训练机器人（或更雄心勃勃地训练人类）。本文中，我们引入一种名为参数化环境响应模型（PERM）的方法，该方法在参数化环境中训练 RL 智能体方面展现出有前景的结果。受项目反应理论启发，PERM 力求直接建模环境的难度与 RL 智能体的能力。鉴于 RL 智能体与人类在“最近发展区”下训练更为高效，我们的方法通过将环境难度与学生的当前能力相匹配来生成课程。此外，PERM 可离线训练，且不采用非平稳的学生能力度量，使其适合在学生之间迁移。我们展示了 PERM 表征环境参数空间的能力，且使用 PERM 与 RL 智能体训练在确定性环境中产生了强劲表现。最后，我们表明我们的方法可在学生之间迁移，且不牺牲任何训练质量。