简化 POMDP 规划：替代观测空间与正式性能保证

在部分可观测域中进行在线规划是机器人和人工智能中的关键能力。部分可观测马尔可夫决策过程（POMDP）是针对这一挑战性环境中决策问题的数学原理框架。然而，求解 POMDP 的最优解计算代价高昂，仅能针对小规模问题实现可行。本文贡献一种新方法，通过切换到更紧凑的替代观测空间和简化模型来加速规划，并提供正式的性能保证。我们引入信念树拓扑的概念，该概念编码使用原始和替代观测空间及模型的树的层级结构和分支。每个信念树拓扑都具备自己的策略空间和规划性能。我们的关键贡献是推导原始 POMDP 最优 Q 函数与由给定拓扑及其对应简化策略空间定义的简化树之间的界限。这些界限随后用作不同拓扑之间的适应机制，直至确定原始 POMDP 的最优动作。进一步，我们考虑该框架的具体实例，其中替代观测空间和模型对应于状态完全可观测的场景。我们在仿真中对该方法进行评估，考虑精确和近似 POMDP 求解器，结果在保持解质量的同时实现了显著加速。我们认为本工作为具有正式性能保证的在线 POMDP 规划开辟了新的激动人心的方向。