联邦学习中电路保持的机制分析
机器学习
2025-12-30 v1
摘要
联邦学习（FL）支持在去中心化数据上进行模型协作训练，但在非独立同分布数据条件下，其性能会显著下降。尽管这种精度损失已有充分记录，但其内部机制原因仍是一个黑盒。本文通过机制可解释性（MI）的视角研究经典 FedAvg 算法，以诊断这种失效模式。我们假设，相互冲突的客户端更新的聚合会导致电路坍塌，即负责特定类别预测的功能性稀疏子网络的破坏性干扰。通过在 FL 框架内训练本质上可解释的权重稀疏神经网络，我们识别并跟踪这些电路在客户端与通信轮次间的变化。使用交并比来量化电路保持程度，我们提供了首份机制证据，表明非独立同分布数据分布导致结构上不同的局部电路发生分歧，进而导致其在全局模型中退化。我们的发现将联邦学习中的统计漂移问题重新定义为机制保持方面的一种具体、可观测的失效，为更有针对性的解决方案铺平了道路。
引用
@article{arxiv.2512.23043,
title = {Mechanistic Analysis of Circuit Preservation in Federated Learning},
author = {Muhammad Haseeb and Salaar Masood and Muhammad Abdullah Sohail},
journal= {arXiv preprint arXiv:2512.23043},
year = {2025}
}
备注
15 pages