基于经验贝叶斯方法的非凸秩最小化
机器学习
2014-08-12 v1 数值分析
机器学习
摘要
在许多需要最小秩矩阵解的应用中，底层代价函数是非凸的，导致了一个难解的 NP-hard 优化问题。因此，凸核范数常被用作矩阵秩的替代惩罚项。问题在于，在许多实际场景中，除了理论上的特例外，我们不再能保证正确估计感兴趣的生成低秩矩阵。为此，本文提出了一种基于变分近似的替代经验贝叶斯过程；与核范数不同，该方法在许多有用的约束下保留了与秩函数相同的全局最小化点估计。然而，通过边缘化 largely 平滑掉了局部最小化解，使得该算法在标准凸松弛完全失效时仍能成功。虽然所提出的方法通常适用于广泛的低秩应用，但我们重点关注鲁棒主成分分析（RPCA）问题，该问题涉及估计具有未知稀疏噪声的未知低秩矩阵。理论和实证证据表明，我们的方法可能优于相关的基于最大后验（MAP）的方法，而凸主成分追踪（PCP）算法（Candes 等人，2011）可被视为这些方法的一个特例。
引用
@article{arxiv.1408.2054,
title = {Non-Convex Rank Minimization via an Empirical Bayesian Approach},
author = {David Wipf},
journal= {arXiv preprint arXiv:1408.2054},
year = {2014}
}
备注
Appears in Proceedings of the Twenty-Eighth Conference on Uncertainty in Artificial Intelligence (UAI2012)