面向在线随机 contingency 规划的 Rollout 启发式方法

部分可观测马尔可夫决策过程（POMDP）是部分可观测与随机动作下决策的有用模型。部分可观测蒙特卡洛规划（POMCP）是一种在线算法，用于决定下一步执行动作，其采用蒙特卡洛树搜索方法，基于针对完全可观测马尔可夫决策过程的 UCT（UCB applied to trees）算法。POMCP 构建动作-观测树，并在叶子节点使用 rollout 策略为叶子提供价值估计。因此，POMCP 高度依赖 rollout 策略来计算良好估计，从而识别良好动作。于是，许多使用 POMCP 的从业者需要创建强大的领域特定启发式。本文中，我们将 POMDP 建模为随机 contingent 规划问题。这使我们能够利用规划界开发的领域无关启发式。我们提出两种启发式：第一种基于经典规划中著名的 h_add 启发式，第二种在信念空间中计算，将信息价值考虑在内。