基于非凸正则化的矩阵补全：近端梯度算法的收敛性
机器学习
2019-03-05 v1 最优化与控制
机器学习
摘要
在过去十年中，矩阵补全在机器学习与计算机视觉领域引起了广泛关注。对于矩阵补全中的低秩促进，核范数惩罚因其凸性而便利，但存在偏差问题。近来，各种使用非凸惩罚的算法被提出，其中近端梯度下降(PGD)算法是最为高效且有效的之一。对于非凸 PGD 算法，其是否收敛至局部极小点以及收敛速率仍不明确。本工作对非凸情形下的 PGD 算法给出了非平凡的分析。除对广义非凸惩罚收敛至驻点外，我们对一类流行且重要的具有不连续阈值函数的非凸惩罚进行了更深入的分析。对此类惩罚，我们建立了 PGD 算法的有限秩收敛、收敛至受限严格局部极小点以及最终线性收敛速率。同时，针对硬阈值惩罚已证明收敛至局部极小点。我们的结果首次表明，非凸正则化矩阵补全仅具有受限严格局部极小点，且 PGD 算法在特定条件下能以最终线性速率收敛至此类极小点。文中亦通过实验对 PGD 算法进行了说明。代码见 https://github.com/FWen/nmc。
引用
@article{arxiv.1903.00702,
title = {Matrix Completion via Nonconvex Regularization: Convergence of the Proximal Gradient Algorithm},
author = {Fei Wen and Rendong Ying and Peilin Liu and Trieu-Kien Truong},
journal= {arXiv preprint arXiv:1903.00702},
year = {2019}
}
备注
14 pages, 7 figures