具有无信息动作的参量化马尔可夫决策过程的汤普森采样
系统与控制
2023-05-16 v1 机器学习
系统与控制
摘要
我们研究参量化 MDP(PMDP)，其中感兴趣的关键参数未知，必须利用贝叶斯推断进行学习。此类模型的一个关键定义特征是存在关于未知参数不提供任何信息的“无信息”动作。我们给出了一组 PMDP 的假设，在此假设下汤普森采样保证渐近最优的期望后悔界 ，这些假设易于对许多类问题(如排队、库存控制和动态定价)进行验证。
引用
@article{arxiv.2305.07844,
title = {Thompson Sampling for Parameterized Markov Decision Processes with Uninformative Actions},
author = {Michael Gimelfarb and Michael Jong Kim},
journal= {arXiv preprint arXiv:2305.07844},
year = {2023}
}