STHFL：时空异质性联邦学习
机器学习
2025-01-13 v1 分布式、并行与集群计算
摘要
联邦学习是一种保护数据隐私并允许多个设备协作训练机器学习模型的新框架。以往的研究提出了多种方法来消除非独立同分布数据和跨域异质性带来的挑战。然而，它们忽略了域内任务数据不断增加所形成的不同数据分布导致的时空异质性。此外，在实际应用中，全局数据通常是长尾分布，而非假设全局数据是平衡的。为了解决时空困境，我们提出了一种名为时空异质性联邦学习（STHFL）的新设置。具体地，为STHFL设计了全局-局部动态原型（GLDP）框架。在GLDP中，每个客户端中的模型包含个性化层，可以动态适应不同的数据分布。对于长尾数据分布，全局原型作为补充知识，用于客户端中样本数量较少的类别的训练，同时不泄露隐私。随着客户端中任务的增加，先前任务中生成的局部原型知识指导当前任务的训练，以解决灾难性遗忘。同时，在客户端训练局部原型后，通过移动平均方法更新全局-局部原型。最后，我们评估了GLDP的有效性，在STHFL场景中与最先进方法相比取得了显著结果。
引用
@article{arxiv.2501.05775,
title = {STHFL: Spatio-Temporal Heterogeneous Federated Learning},
author = {Shunxin Guo and Hongsong Wang and Shuxia Lin and Xu Yang and Xin Geng},
journal= {arXiv preprint arXiv:2501.05775},
year = {2025}
}