基于反向误差分析的联邦学习方法收敛性分析
机器学习
2025-03-06 v1 人工智能
分布式、并行与集群计算
摘要
反向误差分析允许找到在优化方法作用下，参数更新实际遵循的修改损失函数。其中包含在该修改函数中的额外损失项称为隐式正则化器。本文尝试在非IID数据分布上找到各种联邦学习算法的隐式正则化器，并解释为何每种方法显示不同的收敛行为。我们首先指出，FedAvg的隐式正则化器会使每个客户端的梯度偏离平均梯度，从而增加梯度方差。我们也经验性地表明，隐式正则化器会阻碍其收敛。类似地，我们计算了FedSAM和SCAFFOLD的隐式正则化器，并解释了它们为何收敛更好。虽然现有的收敛分析侧重于指出FedSAM和SCAFFOLD的优势，但我们的ethods能从不同理论视角解释它们在复杂非凸情形下的局限性。具体而言，我们展示了FedSAM可部分消除FedAvg中隐式正则化器一阶项偏差，而SCAFFOLD可完全消除一阶项偏差，但未消除二阶项偏差。因此，隐式正则化器可提供关于联邦学习收敛行为的有用见解。
引用
@article{arxiv.2503.03139,
title = {Convergence Analysis of Federated Learning Methods Using Backward Error Analysis},
author = {Jinwoo Lim and Suhyun Kim and Soo-Mook Moon},
journal= {arXiv preprint arXiv:2503.03139},
year = {2025}
}