混合信念POMDP中的蒙特卡洛规划
人工智能
2023-05-04 v2 机器人学
摘要
现实世界问题常需要对离散与连续随机变量上的混合信念进行推理。然而,此类设置在规划背景下鲜有研究。此外,现有在线部分可观测马尔可夫决策过程(POMDPs)求解器不直接支持混合信念。具体而言,这些求解器未解决因假设数量随规划时域增加而带来的额外计算负担,其可能呈指数增长。作为本工作的一部分,我们提出一种新算法——混合信念蒙特卡洛规划(HB-MCP),其利用蒙特卡洛树搜索(MCTS)算法在维持混合信念的同时求解POMDP。我们阐释了如何利用上置信界(UCB)探索奖励来引导假设树与信念树一同生长。随后我们在高度混叠的模拟环境中评估了我们的方法,其中未解决的数据关联导致多模态信念假设。
引用
@article{arxiv.2211.07735,
title = {Monte Carlo Planning in Hybrid Belief POMDPs},
author = {Moran Barenboim and Moshe Shienman and Vadim Indelman},
journal= {arXiv preprint arXiv:2211.07735},
year = {2023}
}