无强凸性下秩一矩阵恢复中Frank-Wolfe方法的线性收敛
最优化与控制
2022-06-22 v2 机器学习
摘要
我们考虑被广泛用作低秩矩阵恢复问题凸松弛的凸优化问题。特别地,在若干重要问题(如相位恢复和鲁棒PCA)中,许多情形下的基本假设是最优解为秩一。本文考虑目标函数上的一个简单而自然的充分条件,使得这些松弛的最优解确为唯一且秩一。主要地,我们证明在此条件下,标准带线搜索的Frank-Wolfe方法(即无需任何参数调节)每迭代仅需一次秩一SVD计算,可在仅 次迭代内找到 -近似解(此前已知最优界为 ),尽管目标函数并非强凸。我们考虑了具有更优复杂度的几种基本方法变体,以及受鲁棒PCA启发的扩展,最后给出了向非光滑问题的扩展。
引用
@article{arxiv.1912.01467,
title = {Linear Convergence of Frank-Wolfe for Rank-One Matrix Recovery Without Strong Convexity},
author = {Dan Garber},
journal= {arXiv preprint arXiv:1912.01467},
year = {2022}
}
备注
Accepted to Mathematical Programming Series A