带记忆的线性赌博机：从腐烂到上升

非平稳现象，例如推荐中的饱和效应，大多使用有限臂赌博机进行建模。然而，线性赌博机提供的更丰富的动作空间在实践中往往更受青睐。在这项工作中，我们引入了一种新颖的非平稳线性赌博机模型，其中当前奖励受到学习者在固定大小窗口内过去动作的影响。我们的模型将平稳线性赌博机作为特例恢复，利用了三个参数：窗口大小$m \ge 0$，以及一个指数$\gamma$，它捕捉现象的腐烂（$\gamma < 0$）或上升（$\gamma > 0$）性质。当$m$和$\gamma$都已知时，我们提出并分析了一种OFUL的变体，该变体最小化针对循环策略的遗憾。通过选择循环长度以权衡近似误差和估计误差，我们随后证明了一个关于最优动作序列的遗憾界，其阶数为$\sqrt{d}\,(m+1)^{\frac{1}{2}+\max\{\gamma,0\}}\,T^{3/4}$（忽略对数因子），其中$T$是时间范围，$d$是线性动作空间的维度。通过一种赌博机模型选择方法，我们的结果被推广到$m$和$\gamma$未知的情况。最后，我们通过针对自然基线的实验来补充我们的理论结果。