在紧凑矩阵流形上的变换梯度投影算法收敛性分析

本文研究了在紧凑矩阵流形上的优化问题。虽然现有的可行算法可大致分为基于撤销的和基于投影的方法，但与仅使用切向量的基于撤销线搜索（RetrLS）算法在算法和收敛研究框架方面更为全面和深入相比，基于投影线搜索（ProjLS）算法的理论理解和算法设计仍有限，尤其是在涉及一般搜索方向和步长的情况下。为填补这一差距，我们提出了统一的算法框架，称为变换梯度投影（TGP）算法。关键思想是将搜索方向构造为由额外法向分量增强的变换黎曼（或欧几里得）梯度，从而使该框架能够包容并概括许多现有算法。然后，我们在各种步长下（包括Armijo步长、Zhang-Hager型非单调Armijo步长和固定步长）对TGP算法的收敛性进行彻底的探索。为此，我们广泛分析了紧凑矩阵流形上投影的几何属性，这可能是独立的兴趣。基于这些见解，我们在三种不同的步长下建立了TGP算法的弱收敛性、迭代复杂度和全局收敛性。在紧凑矩阵流形为Stiefel或Grassmann流形的情况下，我们的收敛结果要么包含，要么优于文献中发现的收敛结果。最后，通过一系列数值实验和理论分析，我们观察到TGP算法中不同比例矩阵和法向分量在搜索方向中的选择会导致实际应用中的显著性能差异。