数据异构性与分离式联邦学习中的被遗忘标签
机器学习
2026-02-06 v2
摘要
在分离式联邦学习 (SFL) 中，客户端通过将模型分为两部分来协助服务器进行训练。第 1 部分在每个客户端本地训练并在每轮结束时由聚合器聚合。第 2 部分在服务器上顺序处理来自每个客户端的中间激活。我们研究了在数据异构性存在下的 SFL 中的灾难性遗忘 (CF) 现象。具体而言，由于 SFL 的特性，第 1 部分的本地更新可能偏离全局最优值，而第 2 部分对处理顺序敏感，类似于持续学习 (CL) 中的遗忘。具体我们观察到，训练后的模型在序列末端看到的类别 (标签) 中表现更好。我们着重于 SFL 的关键方面，如服务器上的处理顺序和切分层，对此现象进行了研究。基于我们的发现，我们提出了一种受多头神经网络启发并为 SFL 环境定制的新型缓解方法，名为 Hydra。广泛的数值评估表明，Hydra 在基线和文献中已有的方法之上取得了优势。
引用
@article{arxiv.2511.09736,
title = {Data Heterogeneity and Forgotten Labels in Split Federated Learning},
author = {Joana Tirana and Dimitra Tsigkari and David Solans Noguero and Nicolas Kourtellis},
journal= {arXiv preprint arXiv:2511.09736},
year = {2026}
}
备注
A shorter version of this paper will appear in the proceedings of AAAI 2026