递归约束的部分可观测马尔可夫决策过程

许多序贯决策问题涉及优化一个目标函数同时对其他目标施加约束。约束部分可观测马尔可夫决策过程（C-POMDP）在转移不确定性与部分可观测性下对此建模。本工作中，我们首先证明 C-POMDP 在连续决策步上违背最优子结构性质，从而可能表现出对某些（如安全关键）应用不期望的行为。此外，C-POMDP 中的在线重规划常因该违背所致的不一致性而低效。为应对这些缺陷，我们引入递归约束 POMDP（RC-POMDP），其对 C-POMDP 施加额外的历史依赖代价约束。我们证明，与 C-POMDP 不同，RC-POMDP 总具有确定性最优策略，且最优策略遵从贝尔曼最优性原理。我们还给出了一种基于点的 RC-POMDP 动态规划算法。在基准问题上的评估展示了我们算法的有效性，并表明 RC-POMDP 策略产生比 C-POMDP 策略更可取的行为。