KoReA-SFL：基于知识重放的分裂联邦学习以对抗灾难性遗忘
机器学习
2024-04-22 v1
摘要
尽管分裂联邦学习（SFL）擅长在资源受限的客户端之间实现知识共享，但由于忽视数据异构性和灾难性遗忘，它存在训练精度低的问题。为了解决这一问题，我们提出了一种名为 KoReA-SFL 的新型 SFL 方法，该方法采用多模型聚合机制来缓解异构数据引起的梯度发散，并采用知识重放策略来应对灾难性遗忘。具体而言，在 KoReA-SFL 中，云服务器（即联邦服务器和主服务器）为本地训练维护多个分支模型部分，而不是单一的全局部分，并维护一个聚合的主模型部分以在分支部分之间共享知识。为避免灾难性遗忘，KoReA-SFL 的主服务器根据每个服务器端分支模型部分的训练数据分布，选择多个辅助设备进行知识重放。在非独立同分布（non-IID）和独立同分布（IID）场景下获得的实验结果表明，KoReA-SFL 显著优于传统的 SFL 方法（测试精度最高提升 23.25%）。
引用
@article{arxiv.2404.12846,
title = {KoReA-SFL: Knowledge Replay-based Split Federated Learning Against Catastrophic Forgetting},
author = {Zeke Xia and Ming Hu and Dengke Yan and Ruixuan Liu and Anran Li and Xiaofei Xie and Mingsong Chen},
journal= {arXiv preprint arXiv:2404.12846},
year = {2024}
}