面向信念转移计算昂贵的POMDP求解的惰性启发式搜索
机器人学
2025-06-03 v1
摘要
诸如RTDP-Bel和LAO*等启发式搜索求解器已被证明在为部分可观测马尔可夫决策过程(POMDP)计算最优和有界次优解方面是有效的，这些过程通常被表述为信念MDP。信念表示可能系统状态上的概率分布。给定父信念和动作，计算信念状态转移涉及贝叶斯更新，该更新结合POMDP的转移和观测模型以确定后继信念及其转移概率。然而，存在一类问题，特别是在机器人学中，由于底层转移和观测模型所需的昂贵物理仿真、光线投射或昂贵的碰撞检查，计算这些转移可能极其昂贵，导致规划时间长。为了应对这一挑战，我们提出了Lazy RTDP-Bel和Lazy LAO*，它们通过利用Q值估计推迟计算昂贵的信念状态转移，从而显著减少规划时间。我们在诸如用于位姿估计的富接触操作、崎岖地形中的户外导航以及使用一维LiDAR传感器的室内导航等领域展示了所提出的惰性规划器的卓越性能。此外，我们讨论了惰性规划器可以利用的常见问题类的实用Q值估计技术。我们的结果表明，惰性启发式搜索方法通过推迟昂贵的信念转移评估，在保持解质量的同时极大地提高了规划速度。
引用
@article{arxiv.2506.00285,
title = {Lazy Heuristic Search for Solving POMDPs with Expensive-to-Compute Belief Transitions},
author = {Muhammad Suhail Saleem and Rishi Veerapaneni and Maxim Likhachev},
journal= {arXiv preprint arXiv:2506.00285},
year = {2025}
}
备注
Accepted for publication at The 18th International Symposium on Combinatorial Search (SOCS 2025)