基于梯度下降的低秩对称矩阵补全的精确线性收敛速率分析
最优化与控制
2021-02-09 v2 机器学习
摘要
基于因子分解的梯度下降是一种可扩展且高效的求解低秩矩阵补全的算法。结构化非凸优化的最新进展在某些关于低秩矩阵与采样集的统计假设下，为梯度下降提供了全局收敛保证。然而，尽管理论表明梯度下降对该问题的全局解享有快速线性收敛，但边界技术的普适性使其无法获得准确的收敛速率估计。在本文中，我们对基于因子分解的对称矩阵补全的梯度下降的精确线性收敛速率进行了局部分析。在不对底层模型作任何额外假设的情况下，我们确定了梯度下降局部收敛的确定性条件，其仅依赖于解矩阵与采样集。更关键的是，我们的分析提供了渐近收敛速率的闭式表达，其与实践中观测到的线性收敛完全吻合。据我们所知，我们的结果是首个给出欧氏空间中矩阵补全的矩阵因子分解梯度下降精确收敛速率的结果。
引用
@article{arxiv.2102.02396,
title = {Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent},
author = {Trung Vu and Raviv Raich},
journal= {arXiv preprint arXiv:2102.02396},
year = {2021}
}
备注
Full version