FedQP: 面向更准确的联邦学习的二次规划引导变异

由于隐私保护的优势，联邦学习 (FL) 在分布式机器学习系统中得到广泛应用。然而，现有的 FL 方法因数据异构性导致推理性能较低。具体而言，由于数据异构性，不同本地模型的优化方向差异很大，难以获得在所有客户端上都表现良好的通用全局模型。作为最新 FL 方法之一，基于变异的 FL 方法尝试采用随机变异策略引导模型训练朝着良好泛化的区域（即损失景观中的平坦区域）进行。具体而言，变异允许模型在解空间中移动，提供规避泛化性差（即锐利区域）的机会。然而，随机变异策略容易导致变异后模型的优化方向高度异构，这限制了现有基于变异的 FL 方法性能。为实现更高性能，本文提出一种新颖的基于变异的 FL 方法，称为 FedQP，通过二次规划策略智能调节变异方向。通过将模型变异偏向于梯度更新方向而非传统的随机变异，FedQP 可以有效地引导模型优化 towards 一个良好泛化的区域（即损失景观中的平坦区域）。在多个著名数据集上的实验表明，我们的二次规划引导的变异策略在 various 异构数据场景中有效提高了全局模型的推理准确率。