从漂移中学习：基于漂移正则化的非独立同分布数据联邦学习
机器学习
2023-09-15 v1
摘要
联邦学习算法在独立同分布（IID）数据上表现相当良好，但在异构环境即非IID数据下却遭受严重性能下降。尽管已有许多研究致力于解决此问题，近期发现表明它们与在IID数据上训练相比仍次优。本文中，我们仔细分析了异构环境下的现有方法。有趣的是，我们发现正则化分类器输出在防止非IID数据上性能退化方面相当有效。受此启发，我们提出从漂移中学习（LfD），一种在异构设定下有效训练模型的新方法。我们的方案包含两大关键组件：漂移估计与漂移正则化。具体而言，LfD首先估计局部模型与全局模型的差异程度（即漂移），然后对局部模型进行正则化使其不朝估计漂移的方向偏移。实验中，我们从联邦学习的五个方面即泛化性、异构性、可扩展性、遗忘性和效率来评估各方法。综合评估结果明确支持了LfD在非IID数据联邦学习中的优越性。
引用
@article{arxiv.2309.07189,
title = {Learning From Drift: Federated Learning on Non-IID Data via Drift Regularization},
author = {Yeachan Kim and Bonggun Shin},
journal= {arXiv preprint arXiv:2309.07189},
year = {2023}
}