周期性赌博机与无线网络选择

赌博机式算法已在随机与对抗设定中被广泛研究。此类算法已被证明在多玩家设定中有用，例如解决可表述为对抗赌博机问题的无线网络选择问题。对抗设定中的主导赌博机算法是 EXP3。然而，网络行为常具重复性，用户密度与网络行为遵循规律模式。像 EXP3 这样的赌博机算法无法为周期性行为提供良好保证。一个主要原因是这些算法与固定动作策略竞争，在周期性设定中无效。本文中，我们定义周期性赌博机设定，并以周期性后悔作为此类设定更好的性能度量。我们不以算法性能与固定动作策略比较，而是旨在与在某种可能周期模式集合 $F$ 下出动臂的策略竞争（例如，所有周期分别为 $1,2,\cdots,P$ 的可能周期函数）。我们提出 Periodic EXP4，一种针对周期设定的 EXP4 算法计算高效变体。对于 $K$ 个臂、$T$ 个时间步，且 $F$ 中每个周期模式长度至多为 $P$，我们证明 Periodic EXP4 所得周期性后悔至多为 $O\big(\sqrt{PKT \log K + KT \log |F|}\big)$。我们还证明了周期设定的下界 $\Omega\big(\sqrt{PKT + KT \frac{\log |F|}{\log K}} \big)$，表明其在对数因子内最优。作为示例，我们聚焦于无线网络选择问题。通过仿真，我们展示 Periodic EXP4 随时间学习周期模式，适应动态环境变化，并远优于 EXP3。