联邦多臂老虎机

联邦多臂老虎机（FMAB）是一种新的老虎机范式，平行于监督学习中的联邦学习（FL）框架。它受认知无线电与推荐系统中的实际应用启发，并具备类似于 FL 的特征。本文提出 FMAB 的一般框架，进而研究两种具体的联邦老虎机模型。我们首先研究近似模型，其中异构局部模型是全局模型来自未知分布的随机实现。该模型引入了客户端采样的新不确定性，因为即便有限局部模型被完美已知，全局模型也可能无法被可靠学习。此外，若无次优间隙的知识，该不确定性无法被先验量化。我们通过提出联邦双重 UCB（Fed2-UCB）解决近似模型，其构建了考虑来自臂与客户端采样双重不确定性的新颖“双重 UCB”原则。我们表明，逐步接纳新客户端对于在显式考虑通信成本的同时实现 O(log(T)) 后悔界至关重要。随后将全局老虎机模型为异构局部模型精确平均的精确模型作为特例研究。我们表明，有些令人惊讶地，通过谨慎选择更新周期，可与客户端数量无关地实现阶最优后悔界。使用合成与真实世界数据集的实验证实了理论分析，并展示了所提算法的有效性与高效性。