具有线性收益与边信息的非平稳隐马尔可夫赌博机
机器学习
2021-01-25 v4 信号处理
机器学习
摘要
在本文中，我们提出一个具有线性收益的隐马尔可夫赌博机问题模型。与当前关于马尔可夫赌博机的研究不同，我们不假设决策者在做决策前已知状态。此外，我们假设存在结构性边信息，即决策者事先知道存在两类隐状态：一类为所有臂共有，依据马尔可夫分布演化；另一类为每个臂独有，且依据各臂独有的独立同分布过程分布。我们提出一种算法并给出该问题的后悔分析。令人惊讶的是，在凸多面体动作集情形下，我们能够恢复隐状态并保持对数后悔。进而，我们表明结构性边信息导致的期望后悔不依赖于动作空间中极端点的数量。因此，即便在高维问题中我们也能获得实用的解。
引用
@article{arxiv.1910.10271,
title = {The Restless Hidden Markov Bandit with Linear Rewards and Side Information},
author = {Michal Yemini and Amir Leshem and Anelia Somekh-Baruch},
journal= {arXiv preprint arXiv:1910.10271},
year = {2021}
}
备注
Accepted for publication in the IEEE Transactions on Signal Processing. A summary of the results presented in this paper was accepted to the 59th Conference on Decision and Control (CDC 2020)