受自然损坏的赌博机：后悔下界与鲁棒乐观算法
机器学习
2023-03-22 v2 统计理论
统计理论
摘要
我们研究损坏赌博机问题，即具有个未知奖励分布的随机多臂赌博机问题，这些分布为重尾且被一个历史无关的对手或自然所损坏。具体而言，拉动一个臂所获得的奖励以概率来自相应的重尾奖励分布，并以概率来自支持无界的任意损坏分布。首先，我们给出任何损坏赌博机算法的后悔问题相关下界。该下界表明损坏赌博机问题比具有次高斯或重尾奖励的经典随机赌博机问题更困难。随后，我们提出一种用于损坏赌博机的新型UCB型算法，即HubUCB，其构建于用于鲁棒均值估计的Huber估计量之上。借助Huber估计量的新型集中不等式，我们证明HubUCB达到了近最优的后悔上界。由于计算Huber估计量具有二次复杂度，我们进一步引入具有线性复杂度的Huber估计量序贯版本。我们利用该序贯估计量设计SeqHubUCB，其在享受类似后悔保证的同时降低了计算负担。最后，我们通过实验说明了HubUCB与SeqHubUCB在针对不同奖励分布与不同损坏程度求解损坏赌博机时的效率。
引用
@article{arxiv.2203.03186,
title = {Bandits Corrupted by Nature: Lower Bounds on Regret and Robust Optimistic Algorithm},
author = {Debabrota Basu and Odalric-Ambrym Maillard and Timothée Mathieu},
journal= {arXiv preprint arXiv:2203.03186},
year = {2023}
}