pFedDSH：通过数据自由子超网络实现个性化联邦学习中的知识迁移
摘要
联邦学习（FL）通过在分布式客户端之间进行协作模型训练而无需共享原始数据，提供了显著的隐私优势。然而，大多数现有个性化联邦学习（pFL）方法假设客户端参与是静态的，这并不符合现实场景，其中新客户端可能持续加入联邦系统（即动态客户端接入）。本文探索了一种实际场景，即在保持学习任务不变的前提下，逐批引入新的客户端。这种动态环境提出了各种挑战，包括在不重新训练的情况下维持现有客户端的性能，以及在客户端批次之间实现高效的知识迁移。为解决这些问题，我们提出了个性化联邦数据自由子超网络（pFedDSH），这是一种基于中央超网络的新型框架，通过嵌入向量为每个客户端生成个性化模型。为维持现有客户端的知识稳定性，pFedDSH采用批次特定的掩码，以激活神经元的子集以保存知识。此外，我们引入一种受DeepInversion启发的数据自由回放策略，以促进向后迁移，增强现有客户端的性能而不损害隐私。在CIFAR-10、CIFAR-100和Tiny-ImageNet上的大规模实验表明，pFedDSH在本研究场景中优于最先进的pFL和联邦持续学习基线。我们的ethods achieve robust performance stability for existing clients, as well as adaptation for new clients and efficient utilization of neural resources. Our approach achieves robust performance stability for existing clients, as well as adaptation for new clients and efficient utilization of neural resources.
引用
@article{arxiv.2508.05157,
title = {pFedDSH: Enabling Knowledge Transfer in Personalized Federated Learning through Data-free Sub-Hypernetwork},
author = {Thinh Nguyen and Le Huy Khiem and Van-Tuan Tran and Khoa D Doan and Nitesh V Chawla and Kok-Seng Wong},
journal= {arXiv preprint arXiv:2508.05157},
year = {2025}
}
备注
12 pages, 4 figures