低秩矩阵流形上伪临界点的渐近逃逸
最优化与控制
2022-06-13 v2 信息论
机器学习
math.IT
机器学习
摘要
我们证明了在固定秩对称半正定矩阵流形上，黎曼梯度下降算法几乎必然逃逸流形边界上的某些伪临界点。我们的结果是首个在不改变原始黎曼梯度下降算法的情况下，部分克服低秩矩阵流形不完备性的工作。这些伪临界点是一些仅捕获真实值部分特征分量的秩亏矩阵。与经典的严格鞍点不同，它们表现出非常奇异的行为。我们展示了利用动态低秩近似和重缩放梯度流，可将部分伪临界点转化为参数域中的经典严格鞍点，从而得到所需结果。我们提供了数值实验以支持我们的理论发现。
引用
@article{arxiv.2107.09207,
title = {Asymptotic Escape of Spurious Critical Points on the Low-rank Matrix Manifold},
author = {Thomas Y. Hou and Zhenzhen Li and Ziyun Zhang},
journal= {arXiv preprint arXiv:2107.09207},
year = {2022}
}