中文

选择你的邻居:用于快速异步去中心化优化的局部Gauss-Southwell规则

最优化与控制 2022-09-16 v2 分布式、并行与集群计算 机器学习

摘要

在去中心化优化环境中,网络里 nn 个节点中的每个智能体 ii 拥有其私有函数 fif_i,且节点与邻居通信以协作最小化聚合目标 i=1nfi\sum_{i=1}^n f_i。在此设定下,同步节点的更新会带来显著的通信开销与计算代价,因此近期文献多聚焦于异步优化算法的分析与设计,其中智能体在任意时刻激活并通信而无需全局同步强制者。然而,多数工作假设当节点激活时,其基于固定概率(例如均匀随机)选择联系邻居,这一选择忽略了激活时刻的优化地形。相反,本工作中我们引入一种优化感知的选择规则,选取能提供最高对偶代价改进(一个基于共识的问题对偶化相关的量)的邻居。该方案与采用 Gauss-Southwell(GS)规则进行坐标更新的坐标下降(CD)方法相关;但在我们的设定中,每次迭代仅有坐标子集可访问(因每个节点只能与邻居通信),故现有 GS 方法文献不适用。为克服此困难,我们为光滑且强凸的 fif_i 发展了一个新的分析框架,涵盖集合式坐标下降算法类——该类直接适用于去中心化场景,但不局限于此——并证明所提集合式 GS 规则实现了高达网络中最大度的加速因子(对于高度连通图其阶为 Θ(n)\Theta(n))。我们分析所预测的加速在合成数据的数值实验中得到了验证。

关键词

引用

@article{arxiv.2207.07543,
  title  = {Pick your Neighbor: Local Gauss-Southwell Rule for Fast Asynchronous Decentralized Optimization},
  author = {Marina Costantini and Nikolaos Liakopoulos and Panayotis Mertikopoulos and Thrasyvoulos Spyropoulos},
  journal= {arXiv preprint arXiv:2207.07543},
  year   = {2022}
}

备注

Revised writing, added references