中文

相似性下的分布式鞍点问题

最优化与控制 2022-08-23 v3 分布式、并行与集群计算 机器学习

摘要

我们研究两类网络上(强)凸-(强)凹鞍点问题(SPPs)的求解方法:主从(即集中式)架构与网状(即去中心化)网络。各节点上的局部函数由于统计数据的相似性等原因被假设为相似。我们针对一类相当通用的SPP求解算法建立了下复杂度界。我们证明,在 master/workers 网络上达到给定次优性 ϵ>0\epsilon>0 需要 Ω(Δδ/μlog(1/ε))\Omega\big(\Delta\cdot \delta/\mu\cdot \log (1/\varepsilon)\big) 轮通信,其中 δ>0\delta>0 度量局部函数的相似程度,μ\mu 为其强凸常数,Δ\Delta 为网络直径。网状网络上的下通信复杂度界为 Ω(1/ρδ/μlog(1/ε))\Omega\big(1/{\sqrt{\rho}} \cdot {\delta}/{\mu}\cdot\log (1/\varepsilon)\big),其中 ρ\rho 为相邻节点间通信所用 gossip 矩阵的(归一化)特征间隙。随后我们提出在两类网络上均匹配下界(相差对数因子)的算法。我们在鲁棒逻辑回归问题上评估了所提算法的有效性。

关键词

引用

@article{arxiv.2107.10706,
  title  = {Distributed Saddle-Point Problems Under Similarity},
  author = {Aleksandr Beznosikov and Gesualdo Scutari and Alexander Rogozin and Alexander Gasnikov},
  journal= {arXiv preprint arXiv:2107.10706},
  year   = {2022}
}

备注

Appears in: Advances in Neural Information Processing Systems 34 (NeurIPS 2021). Minor modifications with respect to the NeurIPS version. 35 pages, 3 algorithms, 4 figures, 1 table