Perseus：面向 POMDP 的随机点式值迭代算法
人工智能
2011-09-13 v1
摘要
部分可观测马尔可夫决策过程（POMDPs）构成了不确定环境下智能体规划的一个极具吸引力且原则性强的框架。针对 POMDPs 的点式近似技术基于预先从智能体信念空间中收集的有限点集来计算策略。我们提出了一种称为 Perseus 的随机点式值迭代算法。该算法执行近似值备份阶段，确保在每个备份阶段中信念点集中每个点的值均得到改善；其关键观察在于，单次备份即可改善许多信念点的值。与其他点式方法不同，Perseus 仅备份信念点集中（随机选择的）一个子集，该子集足以改善集合中每个信念点的值。我们展示了如何将同一思想扩展以处理连续动作空间。实验结果表明了 Perseus 在大规模 POMDP 问题中的潜力。
引用
@article{arxiv.1109.2145,
title = {Perseus: Randomized Point-based Value Iteration for POMDPs},
author = {M. T. J. Spaan and N. Vlassis},
journal= {arXiv preprint arXiv:1109.2145},
year = {2011}
}