注意力选项评论家

强化学习中的时间抽象是指智能体学习并使用称为选项的高层行为的能力。选项评论家架构提供了一种基于梯度的端到端学习方法来构建选项。我们提出了该框架的一种基于注意力的扩展，使智能体能够学习将不同选项聚焦于观测空间的不同方面。我们表明，这带来了行为多样且能够进行状态抽象的选项，并防止了选项评论家中出现的选项主导与频繁选项切换的退化问题，同时达到了相似的样本复杂度。我们还通过不同的迁移学习任务，展示了所学选项相比选项评论家更具高效、可解释和可复用的特性。在相对简单的四房间环境以及更复杂的ALE（街机学习环境）中的实验结果彰显了我们所方法的有效性。