通过联邦全局双生生成器克服联邦类增量学习中的灾难性遗忘
机器学习
2024-07-17 v1 人工智能
计算机视觉与模式识别
摘要
联邦类增量学习（FCIL）在去中心化环境中日益重要，使多个参与者能够在不共享私人数据的情况下协同训练全局模型，以在一系列任务上表现良好。FCIL中，诸如FedAVG等传统联邦学习算法常常会出现灾难性遗忘，导致对早期任务的性能显著下降。近期研究基于生成模型，生成合成图像以帮助缓解此问题，但这些方法在先前类别的测试准确率仍远低于后续类别，即塑性好于稳定性。为克服这些问题，本文提出了联邦全局双生生成器（FedGTG），一种在全局侧进行隐私保护的生成模型训练框架，无需访问客户端数据。具体而言，服务器训练数据生成器和特征生成器，从所有已见类别中创建两种信息类型，然后将合成数据发送到客户端。客户端随后使用特征方向控制损失，以保持知识并良好学习新任务。我们对FedGTG在自然图像上的鲁棒性进行了广泛分析，以及其收敛到平坦局部最小值并实现更好预测置信度（校准）的能力。在CIFAR-10、CIFAR-100和tiny-ImageNet上的实验结果表明，FedGTG在准确率和遗忘措施方面均优于以前的框架。
引用
@article{arxiv.2407.11078,
title = {Overcoming Catastrophic Forgetting in Federated Class-Incremental Learning via Federated Global Twin Generator},
author = {Thinh Nguyen and Khoa D Doan and Binh T. Nguyen and Danh Le-Phuoc and Kok-Seng Wong},
journal= {arXiv preprint arXiv:2407.11078},
year = {2024}
}