异质性引导的客户端采样：面向快速高效的非独立同分布联邦学习

联邦学习(FL)系统中客户端设备上数据的统计异质性使得此类系统中全局模型的训练十分困难。尤其具有挑战性的是由于通信资源限制，任何给定 FL 轮次中只有一小部分客户端能够参与的情形。近期在非独立同分布(non-IID)数据 FL 系统中训练全局模型的方法集中于开发客户端选择方法，旨在采样具有更具信息量的模型更新的客户端。然而，现有客户端选择技术要么引入显著的计算开销，要么仅在客户端具有相似异质性画像的数据时表现良好。本文中，我们提出 HiCS-FL（通过分层聚类采样进行联邦学习，Federated Learning via Hierarchical Clustered Sampling），一种新颖的客户端选择方法，其中服务器利用客户端的网络输出层更新来估计其数据的统计异质性，并依赖该信息对客户端进行聚类与采样。我们分析了所提技术比较不同数据集异质性的能力，并刻画了部署该客户端选择方法的训练过程的收敛性。大量实验结果表明，在非独立同分布设置下，HiCS-FL 比最先进的 FL 客户端选择方案实现更快收敛。值得注意的是，与现有选择方案相比，HiCS-FL 大幅降低计算成本，并可适应不同异质性场景。