一种用于非平稳线性_bandit_的简单方法

本文研究非平稳线性bandits问题，其中未知回归参数随时间演化。现有研究开发了各种算法并证明其具有$\widetilde{\mathcal{O}}(T^{2/3}P_T^{1/3})$的动态后悔(dynamic regret)，其中$T$为时间范围，$P_T$为衡量演化未知参数波动的路径长度。本文中，我们发现一个严重的技术缺陷使其结果缺乏依据，随后给出修正，在不修改原始算法的情况下得到了$\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$的动态后悔。此外，我们证明无需使用滑动窗口或加权惩罚等复杂机制，一种简单的重启策略就足以达到相同的后悔保证。具体地，我们设计了一种UCB型算法来平衡利用与探索，并周期性重启以处理未知参数的漂移。我们的方法具有$\widetilde{\mathcal{O}}(T^{3/4}P_T^{1/4})$的动态后悔。注意，为达到此界，算法需要路径长度$P_T$的预言知识。结合以我们的算法作为基学习器的bandits-over-bandits机制，我们可以进一步以无参数方式实现相同的后悔界。实证研究也验证了我们所提方法的有效性。