基于分块梯度追踪的分布式大数据优化
最优化与控制
2018-09-03 v2 分布式、并行与集群计算
多智能体系统
摘要
我们研究多智能体网络中的分布式大数据非凸优化。我们考虑（约束）最小化一个光滑（可能）非凸函数（即智能体的和效用）加上一个凸（可能）非光滑正则项的和。我们的兴趣在于具有大量待优化变量的大数据问题。若采用标准分布式优化算法处理，这些大规模问题可能因每个节点上 prohibitive 的本地计算与通信负担而难以求解。我们提出了一种新颖的分布式求解方法，其中在各次迭代中，智能体以不协调的方式仅更新整个决策向量的一个分块。为处理代价函数的非凸性，该新方案依赖于逐次凸近似（SCA）技术结合一种新颖的分块扰动 push-sum 共识协议，该协议有助于执行本地分块平均操作与梯度平均追踪。我们建立了到非凸问题驻点解的渐近收敛性。最后，数值结果展示了所提算法的有效性，并凸显了分块维度对通信开销与实际收敛速度的影响。
引用
@article{arxiv.1808.07252,
title = {Distributed Big-Data Optimization via Block-wise Gradient Tracking},
author = {Ivano Notarnicola and Ying Sun and Gesualdo Scutari and Giuseppe Notarstefano},
journal= {arXiv preprint arXiv:1808.07252},
year = {2018}
}