利用部分可观测马尔可夫决策过程中的信息价值进行规划
人工智能
2026-04-03 v1
摘要
部分可观测马尔可夫决策过程（POMDPs）为在状态和转移不确定性下进行规划提供了原则性形式化。尽管在求解大规模 POMDPs 方面取得了进展，但在有限规划时间内获得高性能策略仍然是主要挑战，这源于维数灾难和历史诅咒。对于许多 POMDP 问题，信息价值（VOI）——即从观测推理中获得的期望性能增益——在信念空间中变化。我们引入了一个动态规划框架，通过根据每个信念处的信息价值条件化处理观测来利用这一结构。基于此框架，我们提出了信息价值蒙特卡洛规划（VOIMCP），一种蒙特卡洛树搜索算法，通过在 VOI 较低时选择性忽略观测信息，更高效地分配计算努力，避免不必要的观测分支。我们为 VOI 推理框架提供了近最优性的理论保证，并推导了 VOIMCP 的非渐近收敛界。仿真评估表明 VOIMCP 在多个 POMDP 基准上优于基线方法。
引用
@article{arxiv.2604.01434,
title = {Leveraging the Value of Information in POMDP Planning},
author = {Zakariya Laouar and Qi Heng Ho and Zachary Sunberg},
journal= {arXiv preprint arXiv:2604.01434},
year = {2026}
}