影响图老虎机：面向结构化老虎机问题的变分汤普森采样
机器学习
2020-07-10 v1 机器学习
摘要
我们提出了一种用于结构化老虎机的新框架，称之为影响图老虎机。我们的框架捕捉了动作、潜变量与观测之间复杂的统计依赖关系；从而统一并扩展了诸多现有模型，例如组合半老虎机、级联老虎机与低秩老虎机。我们开发了新颖的在线学习算法，能够在我们的模型中高效地学习行动。其核心思想是追踪模型参数的结构化后验分布，无论是精确还是近似。在行动时，我们从后验中采样模型参数，然后利用影响图的结构在采样参数下寻找最乐观的动作。我们在三个结构化老虎机问题中实证评估了我们的算法，结果表明它们与针对特定问题的最先进基线表现相当或更好。
引用
@article{arxiv.2007.04915,
title = {Influence Diagram Bandits: Variational Thompson Sampling for Structured Bandit Problems},
author = {Tong Yu and Branislav Kveton and Zheng Wen and Ruiyi Zhang and Ole J. Mengshoel},
journal= {arXiv preprint arXiv:2007.04915},
year = {2020}
}