基于扩散生成记忆的无数据联邦类增量学习
计算机视觉与模式识别
2024-05-29 v1 分布式、并行与集群计算
机器学习
摘要
联邦类增量学习（Federated Class Incremental Learning, FCIL）是一个关键但很大程度上尚未被探索的问题，它处理在联邦学习（FL）中动态引入新类别的问题。现有方法通常采用生成对抗网络（GAN）生成合成图像，以解决 FL 中的隐私问题。然而，GAN 表现出固有的不稳定性与高度敏感性，损害了这些方法的有效性。在本文中，我们引入了一种基于扩散生成记忆的新型无数据联邦类增量学习框架（DFedDGM），通过扩散模型生成稳定、高质量的图像来缓解灾难性遗忘。我们设计了一种新的平衡采样器来帮助训练扩散模型，以缓解 FL 中常见的非独立同分布（non-IID）问题，并从信息论角度引入了一种基于熵的样本过滤技术来提升生成样本的质量。最后，我们将知识蒸馏与基于特征的正则化项相结合，以实现更好的知识迁移。与基线 FedAvg 方法相比，我们的框架不会产生额外的通信成本。在多个数据集上的广泛实验表明，我们的方法显著优于现有基线，例如，在 Tiny-ImageNet 数据集上的平均准确率提升了 4% 以上。
引用
@article{arxiv.2405.17457,
title = {Data-Free Federated Class Incremental Learning with Diffusion-Based Generative Memory},
author = {Naibo Wang and Yuchen Deng and Wenjie Feng and Jianwei Yin and See-Kiong Ng},
journal= {arXiv preprint arXiv:2405.17457},
year = {2024}
}