非平稳多臂老虎机问题的近似

多臂非平稳老虎机问题在收益分布为平稳 $\varphi$-混合的情况下被研究。该问题版本为大多数现实应用提供了更现实的模型，但由于已知其为 PSPACE-hard，实践中无法最优求解。本文的目标是刻画该问题的一个子类，其中可使用易处理的方法找到良好的近似解。具体地，我们表明在 $\varphi$-混合系数的一些条件下，一个修改版的 UCB 可证明是有效的。主要挑战在于，与 i.i.d. 设定不同，采样收益的分布在特性上可能与原始老虎机臂的分布不同。特别是，$\varphi$-混合性质不一定延续。这通过仔细控制采样策略对收益分布的影响来克服。本文开发的某些证明技术可更普遍地用于依赖条件下的在线采样。所提算法附有相应的遗憾分析。