随机梯度下降在低秩投影下求解凸低秩矩阵问题的收敛性
机器学习
2020-06-16 v2 最优化与控制
机器学习
摘要
我们重新审视随机梯度下降（SGD）在求解凸优化问题中的使用，这些问题是许多重要低秩矩阵恢复问题（如矩阵补全、相位恢复等）非常流行的凸松弛。将SGD应用于大规模求解这些松弛问题的计算限制在于，每次迭代都需要计算潜在高秩的奇异值分解（SVD）以强制低秩促进约束。我们首先考虑一个简单而自然的充分条件，使得这些松弛确实容许低秩解。该条件对于某种低秩鲁棒性概念而言也是必要的。我们的主要结果表明，在此涉及最优处梯度向量特征值的条件下，采用小批量、以“热启动”点初始化的SGD所生成的迭代以高概率为低秩，因此每次迭代仅需低秩SVD计算。这表明SGD可能确实适用于实际求解低秩矩阵恢复问题的大规模凸松弛。我们的理论结果附有支持的初步经验证据。作为附带好处，我们的分析相当简洁。
引用
@article{arxiv.2001.11668,
title = {On the Convergence of Stochastic Gradient Descent with Low-Rank Projections for Convex Low-Rank Matrix Problems},
author = {Dan Garber},
journal= {arXiv preprint arXiv:2001.11668},
year = {2020}
}
备注
Accepted to Conference on Learning Theory 2020 (COLT 2020). This version fixes some minor errors in previous version