DISH：一种利用系统异构性的分布式混合原始-对偶优化框架
最优化与控制
2023-08-03 v1
摘要
我们考虑在多智能体网络上求解分布式共识优化问题。当前的分布式方法未能捕捉各智能体本地计算能力之间的异构性。我们提出 DISH 作为一种分布式混合原始-对偶算法框架，以处理并利用系统异构性。具体而言，DISH 允许那些计算能力更强或计算成本更低的智能体在本地执行牛顿型更新，而其他智能体可采用简单得多的梯度型更新。我们表明 DISH 是一个通用框架，并将 EXTRA、DIGing 和 ESOM-0 作为特例包含在内。此外，当所有智能体同时采用原始和对偶牛顿型更新时，DISH 通过估计原始与对偶 Hessian 矩阵来逼近牛顿法。在理论上，我们证明对于强凸函数，无论智能体选择梯度型还是牛顿型更新，DISH 都能以线性（Q-线性）收敛速率收敛到精确最优解。最后，我们进行数值研究以展示 DISH 在实践中的有效性。据我们所知，DISH 是首个允许异构本地更新的混合方法，可在一般网络拓扑下为分布式共识优化提供可证明的收敛性与速率保证。
引用
@article{arxiv.2206.03624,
title = {DISH: A Distributed Hybrid Primal-Dual Optimization Framework to Utilize System Heterogeneity},
author = {Xiaochun Niu and Ermin Wei},
journal= {arXiv preprint arXiv:2206.03624},
year = {2023}
}