有向图上稀疏梯度跟踪：去中心化联邦学习的理论视角
机器学习
2026-02-03 v1 最优化与控制
摘要
去中心化联邦学习（DFL）使拥有本地数据的客户端能够在点对点方式中协作训练通用模型。本文中，我们统一了两个独立解决DFL关键挑战的研究分支：（i）用于缓解数据异构性的梯度跟踪技术，（ii）考虑跨客户端资源可获得性差异。我们提出了“稀疏梯度跟踪”（Sporadic Gradient Tracking，Spod-GT），这是一种首次在一般有向图上集成上述因素的DFL算法，允许（i）客户端特定的梯度计算频率和（ii）异构且非对称的通信频率。我们对该方法进行严格的收敛分析，放宽了关于梯度估计方差和客户端梯度多样性的假设，为有向图上的GT在客户端间歇性参与的情况下提供了一致性和最优性保证。通过在图像分类数据集上的数值实验，我们表明Spod-GT相对于众所周知的GT基线具有有效性。
引用
@article{arxiv.2602.00791,
title = {Sporadic Gradient Tracking over Directed Graphs: A Theoretical Perspective on Decentralized Federated Learning},
author = {Shahryar Zehtabi and Dong-Jun Han and Seyyedali Hosseinalipour and Christopher Brinton},
journal= {arXiv preprint arXiv:2602.00791},
year = {2026}
}
备注
32 pages, 5 figures