面向时变有向网络的分布式在线优化的混合随机梯度跟踪方法
机器学习
2025-08-29 v1 分布式、并行与集群计算
最优化与控制
摘要
随着数据规模和动态性的增加，分布式在线优化对于各种应用的实时决策变得至关重要。然而，现有算法常依赖有界梯度假设，忽视随机梯度的影响，尤其是在时变有向网络中。本研究提出一种名为TV-HSGT的基于混合随机梯度跟踪的时变分布式在线优化算法。具体而言，TV-HSGT集成了在时变有向图上的行随机和列随机通信方案，无需Perron向量估计或出度信息。通过结合当前和递归随机梯度，它有效减少梯度方差，同时准确跟踪全局下降方向。理论分析表明，TV-HSGT在不假设梯度有界性的前提下，可实现动态 regret的改进下界。实验结果表明，在 logistic 回归任务中，TV-HSGT在动态和资源受限环境中有效。
引用
@article{arxiv.2508.20645,
title = {A Hybrid Stochastic Gradient Tracking Method for Distributed Online Optimization Over Time-Varying Directed Networks},
author = {Xinli Shi and Xingxing Yuan and Longkang Zhu and Guanghui Wen},
journal= {arXiv preprint arXiv:2508.20645},
year = {2025}
}