漂移感知的联邦学习：因果视角
机器学习
2025-03-13 v1 分布式、并行与集群计算
摘要
联邦学习（FL）促进了多个客户端之间的协作模型训练，同时保护了数据隐私，通常能带来比单个客户端训练的模型更好的性能。然而，通信频率和数据分布等因素会导致特征漂移，阻碍达到最优训练性能。本文从因果视角研究了模型更新漂移与全局及局部优化器之间的关系。全局优化器对特征漂移的影响主要源于某些客户端参与服务器更新的频率，而局部优化器的影响通常与不平衡的数据分布有关。为了缓解这种漂移，我们提出了一种称为因果漂移感知联邦学习（CAFE）的新框架。CAFE 利用特征不变分量与分类结果之间的因果关系，在训练阶段独立校准局部客户端样本特征和分类器。在推理阶段，它消除了全局模型中偏向频繁通信客户端的漂移。实验结果表明，CAFE 结合特征校准、参数校准和历史信息，有效减少了对多数类的漂移以及对频繁通信节点的倾向。
引用
@article{arxiv.2503.09116,
title = {Drift-Aware Federated Learning: A Causal Perspective},
author = {Yunjie Fang and Sheng Wu and Tao Yang and Xiaofeng Wu and Bo Hu},
journal= {arXiv preprint arXiv:2503.09116},
year = {2025}
}