FedSkip：以联邦跳跃聚合应对统计异质性
机器学习
2022-12-15 v1 分布式、并行与集群计算
摘要
本地客户端中非独立同分布（non-IID）数据的统计异质性严重限制了联邦学习的性能。此前的尝试如 FedProx、SCAFFOLD、MOON、FedNova 和 FedDyn 从优化视角入手，需要引入辅助项或重新加权本地更新以校准学习偏差或目标不一致性。然而，除了先前对联邦平均改进的探索外，我们的分析表明另一个关键瓶颈是客户端模型在异质性更强条件下的最优解更差。因此我们引入一种数据驱动方法 FedSkip，通过周期性跳过联邦平均并将本地模型散布到跨设备上来改善客户端最优解。我们对 FedSkip 可能带来的收益进行了理论分析，并在一系列数据集上开展广泛实验，证明 FedSkip 实现了更高的准确率、更好的聚合效率以及具竞争力的通信效率。源代码见：https://github.com/MediaBrain-SJTU/FedSkip。
引用
@article{arxiv.2212.07224,
title = {FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation},
author = {Ziqing Fan and Yanfeng Wang and Jiangchao Yao and Lingjuan Lyu and Ya Zhang and Qi Tian},
journal= {arXiv preprint arXiv:2212.07224},
year = {2022}
}