环状去中心化联邦学习中通用性与个性化的和谐
机器学习
2025-04-29 v1 分布式、并行与集群计算
摘要
我们提出了 Ring-topology Decentralized Federated Learning（RDFL）用于分布式模型训练，旨在避免基于服务器的 FL 中固有的中心故障风险。然而，RDFL 面临因处理固有数据异构性时采用点对点通信方式导致的信息共享效率低下的挑战。现有研究为缓解数据异构性问题 focus 于模型的个性化优化，忽略了缺乏共享信息约束可能导致模型之间差异过大，从而削弱了协作学习的优势。为了应对这些挑战，我们提出了一种 Divide-and-conquer RDFL 框架（DRDFL），使用特征生成模型从底层数据分布中提取个性化信息和不变的共享知识，确保有效的个性化和强大的通用性。具体而言，我们设计了 \textit{PersonaNet} 模块，以鼓励类别特定的特征表示遵循高斯混合分布，从而促进针对本地数据分布的判别性潜在表示学习。同时，引入 \textit{Learngene} 模块通过对抗分类器封装共享知识，以对齐潜在表示并提取全局不变信息。广泛的实验表明，DRDFL 在 various 数据异构性设置下超越了最先进的方法。
引用
@article{arxiv.2504.19103,
title = {Harmonizing Generalization and Personalization in Ring-topology Decentralized Federated Learning},
author = {Shunxin Guo and Jiaqi Lv and Xin Geng},
journal= {arXiv preprint arXiv:2504.19103},
year = {2025}
}