在连续域中将时序扩展技能作为符号动作学习用于规划

同时需要长视野规划与连续控制能力的问题对现有强化学习智能体提出了重大挑战。本文引入一种新颖的分层强化学习智能体，其将用于连续控制的时序扩展技能与环境状态符号离散抽象中的前向模型相联结以进行规划。我们将该智能体称为 SEADS（Symbolic Effect-Aware Diverse Skills，符号效应感知多样技能）。我们 formulate 一个目标及相应算法，在给定已知状态抽象下通过内在动机实现多样技能的无监督学习。这些技能与符号前向模型联合学习，该模型捕捉技能执行在状态抽象中的效应。训练后，我们可将技能作为符号动作利用前向模型进行长视野规划，随后使用学到的连续动作控制技能执行该计划。所提算法学到的技能与前向模型可用于以高成功率解决同时需要连续控制与长视野规划能力的复杂任务。它与其它扁平及分层强化学习基线智能体相比表现更优，并在真实机器人上成功验证。