随机部分监控中 Thompson 采样的分析与设计

Taira Tsuchiya; Junya Honda; Masashi Sugiyama

随机部分监控中 Thompson 采样的分析与设计

机器学习 2021-06-11 v2 机器学习

作者: Taira Tsuchiya , Junya Honda , Masashi Sugiyama

摘要

我们研究有限随机部分监控，这是一类具有有限反馈的顺序学习通用模型。尽管 Thompson 采样在各种在线决策问题中是最有前景的算法之一，但其在随机部分监控下的性质尚未得到理论探究，且现有算法依赖于后验分布的启发式近似。为缓解这些问题，我们提出了一种新颖的基于 Thompson 采样的算法，其使我们能够从后验分布中精确采样目标参数。此外，我们证明新算法在具有局部可观测性的问题的线性化变体上实现了依赖于问题的对数期望伪后悔 $\mathrm{O}(\log T)$ 。该结果是 Thompson 采样用于部分监控的首个后悔界，同时也成为 Thompson 采样用于线性 bandit 的首个对数后悔界。

关键词

随机部分监控 Thompson 采样顺序学习后验采样伪后悔局部可观测性线性 bandit

引用

@article{arxiv.2006.09668,
  title  = {Analysis and Design of Thompson Sampling for Stochastic Partial Monitoring},
  author = {Taira Tsuchiya and Junya Honda and Masashi Sugiyama},
  journal= {arXiv preprint arXiv:2006.09668},
  year   = {2021}
}

备注

Published version in NeurIPS 2020 (https://proceedings.neurips.cc/paper/2020/hash/649d45bf179296e31731adfd4df25588-Abstract.html), 39 pages, 4 figures

随机部分监控中 Thompson 采样的分析与设计

摘要

关键词

引用

备注

相关论文