面向部分参与场景下的联邦域递增学习：任务均匀收敛与后向迁移
机器学习
2026-05-29 v2
摘要
现实中的联邦系统很少在静态数据上运行：输入分布会随时间漂移，而隐私规则禁止共享原始数据。我们将此设定称为联邦域递增学习（FDIL），其中（i）客户端具有异构性，（ii）任务以序列形式到达且域随时间变化，但（iii）标签空间保持固定。当前在现实部署下，FDIL仍缺乏两个重要理论支柱：后向知识迁移（BKT）的保证，以及跨所有任务序列的收敛率（在部分参与情况下）。我们引入SPECIAL（Server-Proximal Efficient Continual Aggregation for Learning），一个简单且无需额外内存的FDIL算法，仅在普通FedAvg基础上添加一个服务器端“锚点”：在每轮中，服务器对均匀抽样的参与客户端更新进行轻微扰动，使其向前一轮的全局模型靠近，以轻量级的原型项实现。该锚点无需回放缓冲区、合成数据或任务特定的头部，即可抑制累积漂移，同时保持通信开销和模型规模不变。我们的理论表明，SPECIAL（i）保留早期任务：BKT上界将任何 prior 任务损失的增加限制在一个随轮数、本地 epoch数和参与客户端数增加而收缩的漂移控制项内；（ii）在所有任务上高效学习：首次给出FDIL在部分参与情况下的非凸收敛率，为O((E/NT)^(1/2))，其中E为本地 epoch数，T为通信轮数，N为每轮参与的客户端数，匹配单任务FedAvg，同时显式分离优化方差与任务间漂移。实验结果进一步证明SPECIAL的有效性。
引用
@article{arxiv.2601.22274,
title = {Server-Proximal Aggregation for Federated Domain-Incremental Learning under Partial Participation: Task-Uniform Convergence and Backward Transfer},
author = {Longtao Xu and Jian Li},
journal= {arXiv preprint arXiv:2601.22274},
year = {2026}
}
备注
Accepted in ICML2026