AFCL：基于分析方法的联邦持续学习，用于处理非IID数据的时空不变性
机器学习
2025-05-20 v1 人工智能
摘要
联邦持续学习 (FCL) 使分布式客户端能够从动态真实场景中的在线任务流中协同训练全局模型。然是，现有 FCL 方法面临来自分布式客户端之间空间数据异构性以及跨在线任务的时间数据异构性双重挑战。这种数据异构性显著降低模型性能，导致严重的时空灾难性遗忘。本文我们识别到此问题的根本原因在于梯度对非IID数据的内在脆弱性和敏感性。为根本解决此问题，我们提出一种无梯度方法，称为分析性联邦持续学习 (AFCL)，通过从冻结的提取特征推导解析解（即闭式解）。在本地训练中，AFCL 仅需每个客户端轻量级前向传播过程即可实现单纪元学习。在全局聚合中，服务器可递归且高效地进行单轮聚合来更新全局模型。理论分析表明，AFCL 实现了非IID数据的时空不变性。这种理想属性意味着，无论数据在本地客户端和在线任务间如何分布异构，AFCL 的聚合模型均与集中式联合学习的模型相同且一致。广泛的实验表明，AFCL 在各种基准数据集和设置下均显著优于最新方法。
引用
@article{arxiv.2505.12245,
title = {AFCL: Analytic Federated Continual Learning for Spatio-Temporal Invariance of Non-IID Data},
author = {Jianheng Tang and Huiping Zhuang and Jingyu He and Run He and Jingchao Wang and Kejia Fan and Anfeng Liu and Tian Wang and Leye Wang and Zhanxing Zhu and Shanghang Zhang and Houbing Herbert Song and Yunhuai Liu},
journal= {arXiv preprint arXiv:2505.12245},
year = {2025}
}
备注
23 pages, 5 figures, 5 tables