FedPop：基于种群的联邦超参数调优

联邦学习（FL）是一种分布式机器学习（ML）范式，其中多个客户端协作训练 ML 模型而无需集中其本地数据。与传统的 ML 流程类似，FL 中的客户端本地优化与服务器聚合过程对超参数（HP）的选择十分敏感。尽管针对集中式 ML 的 HP 调优已有广泛研究，这些方法在 FL 中应用时往往得到次优结果。这主要是因为其“先调优后训练”的框架不适用于客户端计算能力受限的 FL。虽然已有一些针对 FL 中 HP 调优的方法被提出，但它们仅限于客户端本地更新的 HP。在本工作中，我们提出一种新颖的 HP 调优算法，称为基于种群的联邦超参数调优（FedPop），以解决这一关键且具挑战性的问题。FedPop 采用基于种群的进化算法来优化 HP，可同时适配客户端与服务器侧多种 HP 类型。相较于先前的调优方法，FedPop 采用在线“训练中调优”框架，兼具计算高效性，并能够探索更广阔的 HP 搜索空间。我们在常见 FL 基准以及复杂的真实世界 FL 数据集（包括全规模非独立同分布 ImageNet-1K）上的实证验证，证明了所提方法的有效性，其大幅优于同期最先进的 FL 中 HP 调优方法。