拉普拉斯正则化图赌博机:算法与理论分析

我们考虑一个具有多个用户的随机线性赌博机问题,其中用户之间的关系由一个底层图刻画,用户偏好表示为图上的平滑信号。我们引入一种新颖的赌博机算法,其中平滑先验通过随机游走图拉普拉斯算子施加,这使得单用户累积后悔随时间范围 $T$、特征维数 $d$ 以及依赖于图连通性的标量参数 $\Psi \in (0,1)$ 以 $\tilde{\mathcal{O}}(\Psi d \sqrt{T})$ 的尺度增长。这相对于 \algo{LinUCB}~\Ccite{li2010contextual} 中的 $\tilde{\mathcal{O}}(d \sqrt{T})$ 有所改进,后者未考虑用户关系。就网络后悔( $n$ 个用户上累积后悔之和)而言,所提算法导致尺度为 $\tilde{\mathcal{O}}(\Psi d\sqrt{nT})$,相对于最先进算法 \algo{Gob.Lin} \Ccite{cesa2013gang} 中的 $\tilde{\mathcal{O}}(nd\sqrt{T})$ 有显著改进。为提升可扩展性,我们进一步提出了一种关于用户数量具有线性计算复杂度的简化算法,同时保持相同的后悔。最后,我们对所提算法给出了有限时间分析,并在合成与真实世界数据上展示了它们相对于最先进基于图的赌博机算法的优势。