多尺度非平稳随机老虎机
机器学习
2020-02-14 v1 机器学习
摘要
经典的线性模型上下文老虎机算法（如 LinUCB）假设臂的奖励分布由平稳线性回归建模。当线性回归模型随时间非平稳时，LinUCB 的遗憾可随线性时间增长。本文针对非平稳线性老虎机问题提出一种新颖的多尺度变点检测方法，称为 Multiscale-LinUCB，其能主动适应变化的环境。我们还给出了 Multiscale-LinUCB 算法遗憾界的理论分析。实验结果表明，我们提出的 Multiscale-LinUCB 算法在非平稳上下文环境中优于其他最先进的算法。
引用
@article{arxiv.2002.05289,
title = {Multiscale Non-stationary Stochastic Bandits},
author = {Qin Ding and Cho-Jui Hsieh and James Sharpnack},
journal= {arXiv preprint arXiv:2002.05289},
year = {2020}
}