Stiefel 流形上的去中心化黎曼梯度下降
最优化与控制
2021-02-16 v1 机器学习
系统与控制
系统与控制
摘要
我们考虑一种分布式非凸优化问题，其中一组智能体旨在 Stiefel 流形上最小化一个全局函数。该全局函数表示为若干光滑局部函数的有限和，其中每个局部函数与一个智能体相关联，且智能体之间通过无向连通图相互通信。由于局部函数可能为非凸（但光滑）且 Stiefel 流形为非凸集，该问题是不可凸的。我们提出一种去中心化黎曼随机梯度方法（DRSGD），其以 的收敛速率收敛至驻点。为在恒定步长下实现精确收敛，我们还提出一种去中心化黎曼梯度跟踪算法（DRGTA），其以 的收敛速率收敛至驻点。我们采用多步共识以将迭代保留在局部（共识）区域内。DRGTA 是首个针对 Stiefel 流形上分布式优化的具有精确收敛性的去中心化算法。
引用
@article{arxiv.2102.07091,
title = {Decentralized Riemannian Gradient Descent on the Stiefel Manifold},
author = {Shixiang Chen and Alfredo Garcia and Mingyi Hong and Shahin Shahrampour},
journal= {arXiv preprint arXiv:2102.07091},
year = {2021}
}