FedRIR：重新思考联邦学习中的信息表示
机器学习
2025-04-15 v2 分布式、并行与集群计算
摘要
网络边缘的移动设备和物联网设备为机器学习应用生成了海量数据，但隐私问题阻碍了集中式模型训练。联邦学习（Federated Learning, FL）允许客户端（设备）在中央服务器的协调下协作训练共享模型，而无需传输私有数据，但客户端之间固有的统计异质性带来了挑战，常常导致客户端对个性化本地模型的需求与服务器构建泛化全局模型的目标之间出现两难境地。现有的联邦学习方法通常优先考虑全局泛化或本地个性化，导致这两个目标之间的权衡，并限制了多样化客户端数据的全部潜力。为了应对这一挑战，我们提出了一个新颖的框架，通过重新思考联邦学习过程中的信息表示（FedRIR），同时增强全局泛化和本地个性化。具体来说，我们引入了掩码客户端特定学习（Masked Client-Specific Learning, MCSL），它隔离并提取针对每个客户端独特数据特征定制的细粒度客户端特定特征，从而增强个性化。同时，信息蒸馏模块（Information Distillation Module, IDM）通过过滤掉冗余的客户端特定信息来精炼全局共享特征，从而产生更纯净、更鲁棒的全局表示，以增强泛化能力。通过将精炼后的全局特征与隔离出的客户端特定特征相结合，我们构建了丰富的表示，能够有效捕获全局模式和局部细微差别，从而提升客户端下游任务的性能。代码可在 https://github.com/Deep-Imaging-Group/FedRIR 获取。
引用
@article{arxiv.2502.00859,
title = {FedRIR: Rethinking Information Representation in Federated Learning},
author = {Yongqiang Huang and Zerui Shao and Ziyuan Yang and Zexin Lu and Yi Zhang},
journal= {arXiv preprint arXiv:2502.00859},
year = {2025}
}