针对分段平稳多臂分配问题的检测增强型分配程序：模块化方法

传统的多臂分配（MAB）算法设计用于平稳环境，即各臂的奖励分布随时间不变。在许多应用中，实际环境更准确地建模为非平稳环境。本文研究了分段平稳 MAB（PS-MAB）环境，其中部分臂的奖励分布在某些变点处发生变化，并在变点之间保持平稳。我们的关注点是 PS-MAB 的渐近分析，此前已有人提出基于变更检测的实用算法。我们的目标是模块化设计和分析此类检测增强型分配程序（DAB）。为此，我们首先提供新的、改进的 PS-MAB 下界。随后，我们识别出在 DAB 程序中平稳分配算法和变更检测器所需满足的要求，以实现模块化。我们假设奖励服从亚高斯分布。基于此假设及变点间隔条件，我们证明 DAB 程序的分析确实可以模块化，从而以统一方式获得各种变更检测器和分配算法组合的 regret 上界。通过该分析，我们开发了新的模块化 DAB 程序，实现阶最优。最后，我们在实验中展示了模块化 DAB 方法的实际有效性，研究其 regret 性能并探讨其检测能力。