图结构臂的单峰Thompson采样
机器学习
2016-11-23 v2 机器学习
摘要
据我们所知，我们研究了首个针对具有图结构的单峰多臂老虎机（MAB）问题的贝叶斯算法。在该设定中，每个臂对应于图的一个节点，每条边提供了两个节点之间在期望奖励上的关系，而该关系对学习者未知。此外，对于图中的任意节点，存在一条路径通向提供最大期望奖励的唯一节点，且沿该路径期望奖励单调递增。此前关于该设定的结果描述了频率学派MAB算法的性质。在本文中，我们设计了一种基于Thompson采样的算法，其渐近伪后悔匹配该设定下的下界。我们表明——正如在许多场景中发生的那样——贝叶斯MAB算法显著优于频率学派算法。特别地，我们提供了当图的性质变化时，我们的算法与最先进算法的性能的详尽实验评估。
引用
@article{arxiv.1611.05724,
title = {Unimodal Thompson Sampling for Graph-Structured Arms},
author = {Stefano Paladino and Francesco Trovò and Marcello Restelli and Nicola Gatti},
journal= {arXiv preprint arXiv:1611.05724},
year = {2016}
}