TARGET：基于无 exemplar 蒸馏的联邦类增量学习
机器学习
2023-08-21 v3 人工智能
摘要
本文关注一个未被充分探索却重要的问题：联邦类增量学习（FCCL），其中联邦学习中动态添加新类别。现有 FCCL 工作存在诸多局限，如需要额外数据集或存储以往任务的私有数据。对此，我们首先证明非独立同分布（non-IID）数据加剧了联邦学习中的灾难性遗忘问题。随后提出一种称为 TARGET（federatTed clAss-continual leaRninG via Exemplar-free disTillation）的新方法，在保护客户端数据隐私的同时缓解 FCCL 中的灾难性遗忘。所提方法利用先前训练的全局模型在模型层面将旧任务知识迁移至当前任务；此外，训练一个生成器在数据层面产生合成数据以模拟各客户端的全局数据分布。相较以往 FCCL 方法，TARGET 不需要任何额外数据集或存储以往任务的真实数据，这使其非常适用于数据敏感场景。
引用
@article{arxiv.2303.06937,
title = {TARGET: Federated Class-Continual Learning via Exemplar-Free Distillation},
author = {Jie Zhang and Chen Chen and Weiming Zhuang and Lingjuan Lv},
journal= {arXiv preprint arXiv:2303.06937},
year = {2023}
}
备注
ICCV 2023