广播通信下随机梯度推送的优化
机器学习
2026-04-20 v1 分布式、并行与集群计算
最优化与控制
摘要
我们考虑在广播通信下最小化无线网络中去中心化联邦学习（DFL）收敛时间的问题，重点关注混合矩阵设计。混合矩阵是 DFL 的关键超参数，它同时控制迭代间的收敛速率和每次迭代的通信需求，两者均对收敛时间产生重大影响。尽管该问题此前已有研究，但现有解决方案大多为去中心化并行随机梯度下降（D-PSGD）设计，要求混合矩阵对称且双随机。这些限制将激活的通信图限制为无向图（即双向图），从而限制了设计灵活性。相比之下，我们考虑随机梯度推送（SGP）的混合矩阵设计，它允许非对称混合矩阵，因此允许有向通信图。通过分析 SGP 的收敛速率如何依赖于混合矩阵，我们提取了一个显式依赖于激活通信图的图论参数的目标函数，并在此基础上开发了一种具有性能保证的高效设计算法。我们基于真实数据的评估表明，与现有技术相比，所提出的解决方案在不损害训练模型质量的情况下，能显著减少收敛时间。
引用
@article{arxiv.2604.15549,
title = {Optimizing Stochastic Gradient Push under Broadcast Communications},
author = {Tuan Nguyen and Ting He},
journal= {arXiv preprint arXiv:2604.15549},
year = {2026}
}