基于贝叶斯核心集优化的个性化联邦学习

在Federated Learning等分布式机器学习场景中，涉及多个客户端为每个客户端在每个训练步骤上在整个个人数据集上进行训练，往往会变得繁琐。为此，我们提出了一种个性化核心集加权联邦学习方案$\methodprop$，其中每个客户端的训练更新仅基于其核心集中代表性数据点（而非整个客户端数据）发送到中心服务器。通过理论分析，我们展示了平均泛化误差在对数界限下是minimax最优的（上界为$\mathcal{O}(n_k^{-\frac{2 \beta}{2 \beta+\boldsymbol{\Lambda}}} \log ^{2 \delta^{\prime}}(n_k))$），下界为$\mathcal{O}(n_k^{-\frac{2 \beta}{2 \beta+\boldsymbol{\Lambda}}})$，以及整体泛化误差与传统联邦学习设置之间的差异可表示为核心集权重$\boldsymbol{w}$和核心集样本大小$n_k$的闭式函数${\boldsymbol{\Im}}(\boldsymbol{w}, n_k)$。我们在基于多种最新个性化联邦学习架构的不同基准数据集上进行实验，相较于随机抽样后进行联邦学习显著提升，表明智能选择此类训练样本可有助于性能提升。此外，针对医疗数据集的实验表明，我们的方法在其他基于子可达性优化的用于客户端数据子集选择的方法方面也获得一定提升。