基于 Voronoi 树自适应离散化的连续 POMDP 求解方法
人工智能
2023-02-22 v1
摘要
求解连续部分可观测马尔可夫决策过程（POMDP）具有挑战性，尤其对于高维连续动作空间。为缓解此困难，我们提出一种新的基于采样的在线 POMDP 求解器，称为基于 Voronoi 树的自适应离散化（ADVT）。它结合蒙特卡洛树搜索与动作空间自适应离散化以及乐观优化，以高效采样高维连续动作空间并计算最优执行动作。具体而言，我们对每个采样信念使用称为 Voronoi 树的分层划分自适应离散化动作空间，该树为一种二叉空间划分，隐式地将单元划分保持为从单元中采样两点的 Voronoi 图。ADVT 利用单元的估计直径在单元内形成动作值函数的上置信界，引导蒙特卡洛树搜索扩展及动作空间的进一步离散化。与现有求解器相比，这使 ADVT 能更好地利用关于动作值函数的局部信息，更快识别动作空间中最具前景的区域。Voronoi 树使划分与估计各单元直径的开销保持在低位，即便在需要大量采样点以良好覆盖空间的高维空间中亦然。ADVT 还通过采用观测渐进拓宽策略及信念的加权粒子表示，额外处理连续观测空间。实验结果表明，与最先进方法相比，ADVT 在高维连续动作空间上的可扩展性显著更优。
引用
@article{arxiv.2302.10439,
title = {Adaptive Discretization using Voronoi Trees for Continuous POMDPs},
author = {Marcus Hoerger and Hanna Kurniawati and Dirk Kroese and Nan Ye},
journal= {arXiv preprint arXiv:2302.10439},
year = {2023}
}
备注
Submitted to The International Journal of Robotics Research (IJRR). arXiv admin note: substantial text overlap with arXiv:2209.05733