具有马尔可夫噪声与梯度偏差的共识算法收敛性研究
最优化与控制
2020-11-06 v3 机器学习
摘要
本文给出了一种去中心化随机逼近（SA）方案的有限时间收敛分析。该方案推广了若干用于去中心化机器学习和多智能体强化学习的算法。我们的证明技术将迭代变量分离为各自的共识部分与共识误差。共识误差根据共识部分的平稳性进行界定，而共识部分的更新可作为一个受扰动的 SA 方案来分析。在马尔可夫噪声和时变通信图假设下，对于具有光滑但非凸代价函数的非线性 SA，该去中心化 SA 方案在梯度平方范数意义下的期望收敛速率为 ，其中 为迭代次数。该速率可与集中式设定下具有非凸势函数的 SA 已知最佳性能相媲美。
引用
@article{arxiv.2008.07841,
title = {On the Convergence of Consensus Algorithms with Markovian Noise and Gradient Bias},
author = {Hoi-To Wai},
journal= {arXiv preprint arXiv:2008.07841},
year = {2020}
}
备注
Accepted to IEEE CDC 2020. 16 pages. FIxed a few typos