基于Kronecker积近似的分散式黎曼自然梯度法
最优化与控制
2023-03-20 v1 机器学习
摘要
借助对二阶信息计算高效的近似，自然梯度法已成功用于求解大规模结构化优化问题。我们研究黎曼流形上大规模分散式优化问题的自然梯度法，其中由局部数据集定义的局部目标函数属于对数概率类型。利用黎曼Fisher信息矩阵（RFIM）的结构，我们提出一种高效的分散式黎曼自然梯度下降（DRNGD）方法。为克服高维RFIM的通信问题，我们考虑一类结构化问题，其RFIM可由两个低维矩阵的Kronecker积近似。通过对Kronecker因子进行通信，可以低成本获得RFIM的高质量近似。我们证明DRNGD以已知最优速率 收敛到驻点。数值实验表明所提方法相较于最先进方法的效率。据我们所知，这是首个求解分散式流形优化问题的黎曼二阶方法。
引用
@article{arxiv.2303.09611,
title = {Decentralized Riemannian natural gradient methods with Kronecker-product approximations},
author = {Jiang Hu and Kangkang Deng and Na Li and Quanzheng Li},
journal= {arXiv preprint arXiv:2303.09611},
year = {2023}
}
备注
17 pages