用于异构数据联邦学习的 Fisher 信息参数级聚合
机器学习
2026-01-21 v1
摘要
联邦学习聚合来自分布式客户端的模型更新，但标准的一阶方法（如 FedAvg）对每个客户端的所有参数应用相同的标量权重。在非独立同分布数据下，这些均匀加权的更新可能在客户端之间产生强烈错位，导致客户端漂移并降低全局模型质量。在此，我们提出 Fisher 信息参数级聚合 (FIPA)，这是一种二阶聚合方法，用特定参数的 Fisher 信息矩阵 (FIM) 权重替换客户端级别的标量权重，实现真正的参数级缩放，从而捕捉每个客户端的数据如何独特地影响不同参数。通过低秩近似，FIPA 保持了通信和计算的高效性。在非线性函数回归、PDE 学习和图像分类中，FIPA 始终优于基于平均的聚合方法，并且可以与 state-of-the-art 的客户端优化算法有效结合，进一步提高图像分类精度。这些结果突出了 FIPA 在异构数据分布下用于联邦学习的优势。
关键词
引用
@article{arxiv.2601.13608,
title = {Fisher-Informed Parameterwise Aggregation for Federated Learning with Heterogeneous Data},
author = {Zhipeng Chang and Ting He and Wenrui Hao},
journal= {arXiv preprint arXiv:2601.13608},
year = {2026}
}