动态系统中用于上下文多臂老虎机问题的 Thompson Sampling
机器学习
2013-10-21 v1
摘要
我们考虑了具有丰富结构特征的时变动态系统中的多臂老虎机问题。对于非线性动态模型，我们提出了基于拉普拉斯近似 (Laplace Approximation) 的后验分布近似推断方法。对于上下文老虎机问题，基于参数的潜在后验分布采用了 Thompson Sampling。具体而言，我们引入了对先前样本影响的折扣衰减，并分析了不同衰减率与潜在样本动态的关系。因此，探索与利用根据系统中的动态进行了自适应权衡。
引用
@article{arxiv.1310.5008,
title = {Thompson Sampling in Dynamic Systems for Contextual Bandit Problems},
author = {Tianbing Xu and Yaming Yu and John Turner and Amelia Regan},
journal= {arXiv preprint arXiv:1310.5008},
year = {2013}
}
备注
22 pages, 10 figures