联邦类增量学习
机器学习
2022-03-23 v1
摘要
联邦学习(FL)通过去中心化客户端上的数据私有协同训练吸引了越来越多的关注。然而,大多数现有方法不切实际地假设整体框架的目标类别随时间固定。这使得全局模型在真实场景中出现对旧类的显著灾难性遗忘,其中本地客户端持续收集新类且仅有非常有限的存储内存来存放旧类。此外,带有未见新类的客户端可能参与FL训练,进一步加剧全局模型的灾难性遗忘。为应对这些挑战,我们提出了一种新颖的全局-局部遗忘补偿(GLFC)模型,以学习一个全局类增量模型,从局部与全局两个视角缓解灾难性遗忘。具体而言,为解决本地客户端类别不平衡导致的局部遗忘,我们设计了类感知梯度补偿损失与类语义关系蒸馏损失,以平衡旧类的遗忘并跨任务蒸馏一致的类间关系。为应对跨客户端非独立同分布类别不平衡带来的全局遗忘,我们提出一个代理服务器,选择最佳的旧全局模型来辅助局部关系蒸馏。此外,开发了基于原型梯度的通信机制以保护隐私。在代表性基准数据集上,我们的模型在平均准确率上比最先进方法高出4.4%-15.1%。
引用
@article{arxiv.2203.11473,
title = {Federated Class-Incremental Learning},
author = {Jiahua Dong and Lixu Wang and Zhen Fang and Gan Sun and Shichao Xu and Xiao Wang and Qi Zhu},
journal= {arXiv preprint arXiv:2203.11473},
year = {2022}
}
备注
CVPR 2022, the first two authors contribute equally and they are ordered alphabetically