非平稳随机线性_bandit的随机化探索
机器学习
2021-10-13 v5 机器学习
摘要
我们研究两种扰动方法，以克服基于乐观的算法在实践中长期存在的保守性。第一种方法在使用置信集时以简单随机化替代乐观。第二种方法在其当前估计最大化期望奖励前添加随机扰动。对于非平稳线性 bandit，其中每个动作关联一个 维特征且未知参数随时间变化且总变差为 ，我们通过这两种扰动方法提出两种随机化算法：折扣随机化 LinUCB (D-RandLinUCB) 与折扣线性 Thompson 采样 (D-LinTS)。我们强调了它们之间统计最优性相对于计算效率的权衡：前者渐近达到最优动态后悔 ，而后者是预言机高效的，相较于极小极大最优动态后悔在臂数上多出一个对数因子。在仿真研究中，两种算法在解决折扣 LinUCB 所困扰的保守性问题方面均表现出色。
引用
@article{arxiv.1912.05695,
title = {Randomized Exploration for Non-Stationary Stochastic Linear Bandits},
author = {Baekjin Kim and Ambuj Tewari},
journal= {arXiv preprint arXiv:1912.05695},
year = {2021}
}
备注
An earlier version of this manuscript claimed two perturbation based algorithm and their dynamic regret upper bounds. The argument contained a technical mistake, and the current version presents a fix which deteriorates their dynamic regret bounds from $\tilde{O}(T^{2/3})$ to $\tilde{O}(T^{3/4})$