无坐标的坐标下降：黎曼流形上的切子空间下降
最优化与控制
2020-06-16 v3
摘要
我们将坐标下降扩展至流形域，并针对测地凸与非凸光滑目标函数给出收敛性分析。我们的核心见解是在欧氏空间的坐标块与流形的切子空间之间作类比。因此，我们的方法称为切子空间下降（TSD）。确保 TSD 收敛的核心原则是在每次迭代中适当选择子空间。为此，我们提出两个新条件：间隙保证条件与 -随机化范数条件，分别针对确定性及随机化子空间选择模式，它们为光滑函数提供收敛保证，并在实际情形中满足。我们提出两个具有特别实际意义的满足这些条件的子空间选择规则：一个用于平方正交矩阵流形的确定性规则，以及一个用于 Stiefel 流形的随机化规则。我们在正交 Procrustes 问题上的概念验证数值实验展示了 TSD 的有效性。
引用
@article{arxiv.1912.10627,
title = {Coordinate Descent Without Coordinates: Tangent Subspace Descent on Riemannian Manifolds},
author = {David Huckleberry Gutman and Nam Ho-Nguyen},
journal= {arXiv preprint arXiv:1912.10627},
year = {2020}
}