基于深度强化学习的经典规划草图分解

在规划和强化学习中，识别跨问题的常见子目标结构对于实现长期目标至关重要。最近的研究表明，这些结构可表示为称为草图的特征基规则，这些规则在多个经典规划领域上进行划分，将问题划分为可通过贪心 IW$(k)$ 搜索在低多项式时间内求解的子问题。已develop用于特征池和min-SAT求解器的学习草图的方法，然而它们面临两个关键限制：可扩展性和表达性。本文通过将学习草图分解问题形式化为深度强化学习（DRL）任务来解决这些限制，在该任务中寻求修改规划问题中的通用策略，其中状态 $s$ 的后继状态定义为通过 IW$(k)$ 搜索从 $s$ 可达的状态。通过本方法获得的草图分解在各种领域中进行实验评估，当通过贪心 IW$(k)$ 搜索到达目标时，问题即被视为已解决。尽管我们的 DRL 方法用于学习草图分解并不以规则形式提供可解释的草图，但我们表明结果分解往往可被清晰地理解。