选择你的邻居:用于快速异步去中心化优化的局部Gauss-Southwell规则
最优化与控制
2022-09-16 v2 分布式、并行与集群计算
机器学习
摘要
在去中心化优化环境中,网络里 个节点中的每个智能体 拥有其私有函数 ,且节点与邻居通信以协作最小化聚合目标 。在此设定下,同步节点的更新会带来显著的通信开销与计算代价,因此近期文献多聚焦于异步优化算法的分析与设计,其中智能体在任意时刻激活并通信而无需全局同步强制者。然而,多数工作假设当节点激活时,其基于固定概率(例如均匀随机)选择联系邻居,这一选择忽略了激活时刻的优化地形。相反,本工作中我们引入一种优化感知的选择规则,选取能提供最高对偶代价改进(一个基于共识的问题对偶化相关的量)的邻居。该方案与采用 Gauss-Southwell(GS)规则进行坐标更新的坐标下降(CD)方法相关;但在我们的设定中,每次迭代仅有坐标子集可访问(因每个节点只能与邻居通信),故现有 GS 方法文献不适用。为克服此困难,我们为光滑且强凸的 发展了一个新的分析框架,涵盖集合式坐标下降算法类——该类直接适用于去中心化场景,但不局限于此——并证明所提集合式 GS 规则实现了高达网络中最大度的加速因子(对于高度连通图其阶为 )。我们分析所预测的加速在合成数据的数值实验中得到了验证。
引用
@article{arxiv.2207.07543,
title = {Pick your Neighbor: Local Gauss-Southwell Rule for Fast Asynchronous Decentralized Optimization},
author = {Marina Costantini and Nikolaos Liakopoulos and Panayotis Mertikopoulos and Thrasyvoulos Spyropoulos},
journal= {arXiv preprint arXiv:2207.07543},
year = {2022}
}
备注
Revised writing, added references