勿记忆，拟过往：无情景记忆的联邦类增量学习
机器学习
2023-07-19 v2 人工智能
摘要
深度学习模型在训练新数据时容易遗忘过去学到的信息。在联邦学习（FL）背景下该问题更为显著，因为数据去中心化且各用户独立变化。持续学习（CL）主要在集中式设置中研究这一所谓的“灾难性遗忘”现象，其中学习器可直接访问完整训练数据集。然而，由于隐私顾虑与资源限制，将CL技术应用于FL并不简单。本文提出一种联邦类增量学习框架，其利用生成模型合成来自过往分布的样本，而非存储部分过往数据。随后，客户端可借助生成模型在本地缓解灾难性遗忘。生成模型在每轮任务结束时于服务器端使用无数据方法进行训练，无需向客户端请求数据。因此，与在客户端私有数据上训练相比，其降低了数据泄露风险。我们在CIFAR-100数据集上相较现有基线展示了显著提升。
引用
@article{arxiv.2307.00497,
title = {Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory},
author = {Sara Babakniya and Zalan Fabian and Chaoyang He and Mahdi Soltanolkotabi and Salman Avestimehr},
journal= {arXiv preprint arXiv:2307.00497},
year = {2023}
}