联邦最佳臂识别中近乎零成本的通信

我们研究了一个具有中心服务器与多个客户端的联邦学习多臂_bandit（multi-armed bandit）设置中的最佳臂识别问题。每个客户端关联一个多臂_bandit，其中每根臂产生服从未知均值、已知方差的高斯分布的独立同分布（i.i.d.）奖励。假设所有客户端的臂集合相同。我们定义两种最佳臂概念——局部与全局。客户端的局部最佳臂是其本地臂中均值最大的臂，而全局最佳臂是所有客户端平均均值最大的臂。我们假设每个客户端仅能观测其本地臂的奖励，从而估计其局部最佳臂。客户端在上行链路上与中心服务器通信，每次使用每上行链路产生C≥0单位的成本。全局最佳臂在服务器端估计。目标是在错误概率上界约束下，以最小总成本（定义为所有客户端臂选择总数与总通信成本之和）识别局部最佳臂与全局最佳臂。我们提出一种基于逐次消去、仅在指数时间步通信的新算法FedElim，并给出其总成本的高概率实例依赖上界。本文核心结论是：对任意C≥0且错误概率足够小，FedElim下的臂选择总数（相应为总成本）至多为其每时间步通信的变体下最大臂选择总数的2倍（相应为3倍）。此外，我们证明后者在期望上直至常数因子是最优的，从而表明FedElim中通信近乎零成本。我们通过数值实验验证了FedElim的有效性。