一种用于缓解视觉任务联邦类增量学习中灾难性遗忘的无数据方法
机器学习
2023-11-22 v2 计算机视觉与模式识别
摘要
深度学习模型在新数据上训练时常常遗忘先前学习的信息。在联邦学习(FL)中,由于数据分布式且各用户可独立变化,该问题更为严重。许多方案被提出以在集中式设定下解决此灾难性遗忘。然而,由于FL特有的复杂性(如隐私顾虑与资源限制),它们不能直接适用。为克服这些挑战,本文提出一个用于的框架,其利用生成模型合成来自过去分布的样本。这些数据可随后与训练数据一同用于缓解灾难性遗忘。为保护隐私,生成模型在每轮任务结束时于服务器端使用无数据方法进行训练,无需向客户端请求数据。此外,我们的方案不要求用户存储旧数据或模型,使其可随时加入/离开训练。另外,我们引入SuperImageNet,一种专为联邦持续学习定制的ImageNet数据集重新分组。我们通过多数据集上的大量实验展示了相比现有基线的显著提升。
引用
@article{arxiv.2311.07784,
title = {A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks},
author = {Sara Babakniya and Zalan Fabian and Chaoyang He and Mahdi Soltanolkotabi and Salman Avestimehr},
journal= {arXiv preprint arXiv:2311.07784},
year = {2023}
}
备注
Accepted in NeurIPS 2023. arXiv admin note: text overlap with arXiv:2307.00497