非凸随机去中心化优化原始对偶算法的理论分析
最优化与控制
2022-09-23 v3 机器学习
摘要
近年来，去中心化学习已成为一种强大的工具，不仅用于大规模机器学习，也用于保护隐私。去中心化学习的关键挑战之一是每个节点持有的数据分布在统计上是异构的。为应对这一挑战，被称为边缘共识学习（Edge-Consensus Learning, ECL）的原始对偶算法被提出，并通过实验表明其对数据分布的异构性具有鲁棒性。然而，ECL的收敛速率仅在目标函数为凸时给出，尚未在目标函数非凸的标准机器学习设定下得到证明。此外，ECL为何对数据分布的异构性具有鲁棒性的直观原因尚未被研究。在本工作中，我们首先研究ECL与Gossip算法之间的关系，表明ECL的更新公式可视为对Gossip算法中局部随机梯度的修正。然后，我们提出包含ECL作为特例的广义ECL（Generalized ECL, G-ECL），并给出G-ECL在（强）凸和非凸设定下的收敛速率，这些速率不依赖于数据分布的异构性。通过合成实验，我们证明G-ECL和ECL的数值结果均与G-ECL的收敛速率相符。
引用
@article{arxiv.2205.11979,
title = {Theoretical Analysis of Primal-Dual Algorithm for Non-Convex Stochastic Decentralized Optimization},
author = {Yuki Takezawa and Kenta Niwa and Makoto Yamada},
journal= {arXiv preprint arXiv:2205.11979},
year = {2022}
}