SacFL：面向资源受限终端设备的自适应联邦持续学习
机器学习
2025-05-02 v1 人工智能
摘要
终端设备的激增催生了一种分布式计算范式，其中设备端机器学习模型持续处理这些设备生成的各种数据。这些数据的动态特性，以持续变化或数据漂移为特征，给设备端模型带来了重大挑战。为了解决这个问题，持续学习（CL）被提出，它使机器学习模型能够增量式地更新其知识并减轻灾难性遗忘。然而，由于隐私和数据量方面的考虑，传统的集中式持续学习方法不适用于终端设备。在此背景下，联邦持续学习（FCL）作为一种有前景的解决方案应运而生，它在将用户数据保留在本地的同时，通过协作更新来增强模型。针对FCL场景中持续学习存储资源有限、任务转换检测自主性差以及难以应对新型对抗性任务等挑战，我们提出了一种名为SacFL的新型FCL框架。SacFL采用编码器-解码器架构来分离任务鲁棒和任务敏感组件，通过为资源受限的终端设备保留轻量级的任务敏感组件，显著降低了存储需求。此外，SacFL利用对比学习引入了一种自主数据漂移检测机制，使其能够辨别是否出现了新任务以及该任务是否为良性任务。这种能力最终允许设备在无需额外信息的情况下自主触发持续学习或攻击防御策略，这对终端设备而言更为实用。在多个文本和图像数据集（如Cifar100和THUCNews）上进行的综合实验验证了SacFL在类别增量和领域增量场景中的有效性。此外，还开发了一个演示系统以验证其实用性。
引用
@article{arxiv.2505.00365,
title = {SacFL: Self-Adaptive Federated Continual Learning for Resource-Constrained End Devices},
author = {Zhengyi Zhong and Weidong Bao and Ji Wang and Jianguo Chen and Lingjuan Lyu and Wei Yang Bryan Lim},
journal= {arXiv preprint arXiv:2505.00365},
year = {2025}
}
备注
Accepted by TNNLS 2025