通过信念点主动采样与高斯过程回归加速基于点的值迭代
最优化与控制
2025-03-13 v1
摘要
部分可观测马尔可夫决策过程（POMDP）是不确定性下决策的基础。我们引入了一种新颖的可扩展方法，以加速点值迭代（PBVI）算法中的上界估计，该算法是解决大规模 POMDP 的领先方法。PBVI 使用一组信念点而非整个连续信念空间来近似值函数，并依赖上下界进行收敛。虽然下界易于计算，但 PBVI 需要重复进行锯齿投影操作以近似上界凸包，这显著增加了计算负担，尽管随着信念集的扩大，许多此类锯齿投影变得冗余。为了解决这个问题，我们利用拟合在最具信息量的可达信念点子集上的高斯过程回归的上置信界（GP-UCB）来推断上界，这些信念点在某个高维 Hilbert 空间中表现出线性独立性。该方法平均减少了 84.3% 的锯齿投影数量，且未妥协解的质量。我们进一步建立了所提出上界 GP-UCB 估计的理论一致性，并证明其收敛于真实的上界凸包。我们实现了 GP-UCB 并使用五个基准有限时域 POMDP 测试了其性能，证明了其在估计上界和提升 PBVI 性能方面的有效性。GP-UCB 在较小问题上减少了 30% 至 60% 的计算时间，在较大问题上最高减少 99.7%，同时实现了与纯锯齿投影方法相同的间隙。
引用
@article{arxiv.2503.08982,
title = {Accelerating Point-Based Value Iteration via Active Sampling of Belief Points and Gaussian Process Regression},
author = {Siqiong Zhou and Ashif S. Iquebal and Esma S. Gel},
journal= {arXiv preprint arXiv:2503.08982},
year = {2025}
}
备注
32 pages, 9 figures