基于 Thompson 采样的大型 POMDP 中内存受限开环规划
人工智能
2019-05-13 v1
摘要
基于部分可观测规划的先进方法如 POMCP 依赖于随机树搜索。尽管这些方法计算高效，但仍可能构建出规模可观的搜索树，从而因内存资源受限而限制性能。本文提出部分可观测堆叠 Thompson 采样（POSTS），一种针对大型 POMDP 中开环规划的内存受限方法，其优化一个固定大小的 Thompson 采样 bandit 栈。我们在四个大型基准问题中对 POSTS 进行实证评估，并将其性能与不同的基于树的方法进行比较。我们表明，POSTS 相比基于树的开环规划取得了有竞争力的性能，并提供了性能-内存权衡，使其适用于计算和内存资源高度受限的部分可观测规划。
引用
@article{arxiv.1905.04020,
title = {Memory Bounded Open-Loop Planning in Large POMDPs using Thompson Sampling},
author = {Thomy Phan and Lenz Belzner and Marie Kiermeier and Markus Friedrich and Kyrill Schmid and Claudia Linnhoff-Popien},
journal= {arXiv preprint arXiv:1905.04020},
year = {2019}
}
备注
Presented at AAAI 2019