DualFed：通过层次表示实现联合获得泛化与个性化的联邦学习
机器学习
2025-02-06 v2 分布式、并行与集群计算
摘要
在个性化联邦学习（PFL）中，人们普遍认识到在实现高模型泛化和有效个性化之间存在显著挑战，因为这两者相互冲突。因此，现有的 PFL 方法只能在这两种目标之间进行权衡。这引出了一个有趣的问题：是否可能开发出一种能够同时实现这两个目标的模型？我们的论文给出了肯定的答案，关键在于观察到深度模型本质上具有层次结构，这些结构在不同阶段产生具有不同程度泛化和个性化的表示。从这一观察出发，一个直接的做法是从这些层中选择多个表示并将其组合，以同时实现泛化和个性化。然而，候选表示的数量通常非常大，这使得该方法因计算成本过高而不可行。为解决此问题，我们提出了 DualFed，一种可以直接生成分别对应泛化和个性化的双重表示的方法，从而简化了优化任务。具体而言，DualFed 在编码器和分类器之间插入一个个性化投影网络。预投影表示能够捕获跨客户端可共享的通用信息，后投影表示则有效捕获本地客户端上特定任务的信息。这种设计最小化了泛化与个性化之间的相互干扰，从而实现了双赢局面。大量实验表明，DualFed 可以优于其他 FL 方法。代码已在 https://github.com/GuogangZhu/DualFed 提供。
引用
@article{arxiv.2407.17754,
title = {DualFed: Enjoying both Generalization and Personalization in Federated Learning via Hierachical Representations},
author = {Guogang Zhu and Xuefeng Liu and Jianwei Niu and Shaojie Tang and Xinghao Wu and Jiayuan Zhang},
journal= {arXiv preprint arXiv:2407.17754},
year = {2025}
}
备注
Accepted by ACM Multimedia 2024