相似性下的分布式鞍点问题
最优化与控制
2022-08-23 v3 分布式、并行与集群计算
机器学习
摘要
我们研究两类网络上(强)凸-(强)凹鞍点问题(SPPs)的求解方法:主从(即集中式)架构与网状(即去中心化)网络。各节点上的局部函数由于统计数据的相似性等原因被假设为相似。我们针对一类相当通用的SPP求解算法建立了下复杂度界。我们证明,在 master/workers 网络上达到给定次优性 需要 轮通信,其中 度量局部函数的相似程度, 为其强凸常数, 为网络直径。网状网络上的下通信复杂度界为 ,其中 为相邻节点间通信所用 gossip 矩阵的(归一化)特征间隙。随后我们提出在两类网络上均匹配下界(相差对数因子)的算法。我们在鲁棒逻辑回归问题上评估了所提算法的有效性。
引用
@article{arxiv.2107.10706,
title = {Distributed Saddle-Point Problems Under Similarity},
author = {Aleksandr Beznosikov and Gesualdo Scutari and Alexander Rogozin and Alexander Gasnikov},
journal= {arXiv preprint arXiv:2107.10706},
year = {2022}
}
备注
Appears in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021). Minor modifications with respect to the NeurIPS version. 35 pages, 3 algorithms, 4 figures, 1 table