采用 Barzilai-Borwein 步长的分布式优化的 Q-线性收敛性
最优化与控制
2022-06-22 v1 系统与控制
系统与控制
摘要
大规模系统和机器学习中数据规模的增长，使得分布式优化成为在不同背景下解决决策问题的一种自然且有吸引力的技术。在此类方法中，每个智能体利用从邻居接收到的信息对其局部目标进行迭代计算，并与相邻智能体共享相关信息。尽管基于梯度的方法因其简单性而被广泛使用，但已知其收敛速度较慢。另一方面，虽然牛顿型方法具有更好的收敛特性，但由于巨大的计算和内存需求，其适用性不强。在这项工作中，我们引入了一种具有 Barzilai-Borwein 步长的分布式拟牛顿方法。我们证明了其向最优解的 Q-线性收敛性，给出了该算法超线性收敛的条件，并通过数值模拟验证了我们的结果。
引用
@article{arxiv.2206.09285,
title = {Q-linear Convergence of Distributed Optimization with Barzilai-Borwein Step Sizes},
author = {Iyanuoluwa Emiola},
journal= {arXiv preprint arXiv:2206.09285},
year = {2022}
}