联邦深度平衡学习：利用紧凑全局表示增强个性化

联邦学习（FL）已成为一种突破性的分布式学习范式，使客户端无需交换数据即可协作训练全局模型。尽管在信息检索和知识管理场景中增强了隐私和效率，FL模型的训练和部署仍面临通信瓶颈、数据异构性和内存限制等重大挑战。为全面应对这些挑战，我们提出FeDEQ，一种新颖的FL框架，它结合深度平衡学习与共识优化，利用紧凑的全局数据表示实现高效个性化。具体而言，我们设计了一种独特的模型结构，其包含一个用于全局表示提取的平衡层，以及随后的用于本地个性化的显式层。然后我们提出一种根植于交替方向乘子法（ADMM）的新颖FL算法，其能跨分布式数据集联合优化共享平衡层与独立个性化层。我们的理论分析证实FeDEQ收敛至驻点，为每个客户端同时实现紧凑全局表示与最优个性化参数。在多种基准上的大量实验表明，FeDEQ匹配最先进个性化FL方法的性能，同时将训练中的通信规模最多减少4倍、内存占用减少1.5倍。