深度强化学习中的知识引导探索

本文提出一种新方法，用于大幅加速具有状态-动作可容许性（SAP）性质问题的深度强化学习（deep RL）训练。在 SAP 下定义了两类可容许性。第一类是指，在状态 $s_t$ 中执行动作 $a_t$ 且智能体到达新状态 $s_{t+1}$ 后，智能体可判定 $a_t$ 在 $s_t$ 中是否可容许。第二类是指，即便未在 $s_t$ 中执行 $a_t$，智能体已可判定 $a_t$ 在 $s_t$ 中是否可容许。若某动作在任何情况下都无法导向最优解，从而不应被（反复）尝试，则该动作在某一状态中不可容许。我们将提出的 SAP 性质纳入两种最先进的深度 RL 算法，并将动作可容许性知识连同虚拟停止策略一起编码以引导其状态-动作探索。结果表明，基于 SAP 的引导可显著加速 RL 训练。