柔性选项学习

强化学习(RL)中的时间抽象通过随时间更高效传播信息，有望改善复杂环境中的泛化与知识迁移。尽管选项学习最初以允许同时使用离策略、选项内学习更新多个选项的方式提出(Sutton, Precup & Singh, 1999)，但近期许多分层强化学习方法每次仅更新一个正在执行的选项。我们重新审视并在深度强化学习背景下扩展选项内学习，以启用对与当前原始动作选择一致的所有选项进行更新，且不引入任何额外估计。因此，我们的方法可自然地被多数分层 RL 框架采用。当我们将本方法与用于选项发现的 option-critic 算法结合时，在广泛领域中获得了性能与数据效率的显著提升。