ChronosPerseus：面向POSMDP的基于重要性采样的随机点值迭代
人工智能
2022-07-19 v1 机器学习
摘要
在强化学习中，智能体已成功使用以马尔可夫决策过程（MDPs）建模的环境。然而，在许多问题域中，智能体可能遭受噪声观测或直到其后续决策的随机时间。虽然部分可观测马尔可夫决策过程（POMDPs）已处理噪声观测，但尚未处理未知时间方面。当然，可以对时间离散化，但这会导致贝尔曼维度灾难。为在智能体决策中纳入连续逗留时间分布，我们提出部分可观测半马尔可夫决策过程（POSMDPs）可在此方面有所帮助。我们扩展\citet{Spaan2005a}用于POMDP的随机点值迭代（PBVI）\textsc{Perseus}算法到POSMDP，通过纳入连续逗留时间分布并使用重要性采样降低求解器复杂度。我们将这一用于POSMDP的带重要性采样的新PBVI算法称为\textsc{ChronosPerseus}。这进一步允许通过将时间状态信息移入POMSDP的状态逗留时间，来压缩需要时间状态信息的复杂POMDP。第二个见解是，保持一组采样时间并以其似然加权可用于单次备份；这有助于进一步降低算法复杂度。该求解器也适用于情节式和非情节式问题。我们以两个例子结束本文：一个情节式公交问题和一个非情节式维护问题。
引用
@article{arxiv.2207.07825,
title = {ChronosPerseus: Randomized Point-based Value Iteration with Importance Sampling for POSMDPs},
author = {Richard Kohar and François Rivest and Alain Gosselin},
journal= {arXiv preprint arXiv:2207.07825},
year = {2022}
}
备注
33 pages, 9 figures