Stiefel 流形上的分散式黎曼共轭梯度法
最优化与控制
2024-03-13 v3 机器学习
系统与控制
系统与控制
摘要
共轭梯度法是重要的一种一阶优化方法，通常比最速下降法收敛更快，且计算代价远低于二阶方法。然而，尽管欧氏空间与黎曼流形上的各类共轭梯度法已有研究，分布式场景下的相关研究甚少。本文提出一种分散式黎曼共轭梯度下降（DRCGD）方法，旨在 Stiefel 流形上最小化一个全局函数。该优化问题分布在一个智能体网络中，每个智能体关联一个局部函数，智能体间通过无向连通图进行通信。由于 Stiefel 流形是非凸集，全局函数表示为若干可能非凸（但光滑）的局部函数之和。所提方法无需昂贵的黎曼几何运算如收缩、指数映射和向量转移，从而降低了每个智能体所需的计算复杂度。据我们所知，DRCGD 是首个在 Stiefel 流形上实现全局收敛的分散式黎曼共轭梯度算法。
引用
@article{arxiv.2308.10547,
title = {Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold},
author = {Jun Chen and Haishan Ye and Mengmeng Wang and Tianxin Huang and Guang Dai and Ivor W. Tsang and Yong Liu},
journal= {arXiv preprint arXiv:2308.10547},
year = {2024}
}