通过凸松弛的含噪矩阵分解:高维中的最优速率
机器学习
2012-08-09 v3 信息论
机器学习
math.IT
摘要
我们分析了一类基于凸松弛的估计量,用于解决高维矩阵分解问题。观测值是线性变换的含噪实现,该变换作用于一个(近似)低秩矩阵与第二个具有互补低维结构形式的矩阵之和;这一设定涵盖了许多感兴趣的统计模型,包括因子分析、多任务回归和稳健协方差估计。我们推导了一个通用定理,该定理界定了通过求解一个结合核范数与通用可分解正则化项的凸优化问题所得到的对的估计的Frobenius范数误差。我们的结果利用了一个与奇异向量非相干性相关但更温和的“尖峰性”条件。我们将通用结果特化到过去研究中已考察的两种情况:低秩加逐元素稀疏矩阵,以及低秩加逐列稀疏矩阵。对于这两种模型,我们的理论为确定性和随机噪声矩阵都提供了非渐近的Frobenius误差界,并适用于可以精确或近似低秩的矩阵,以及可以精确或近似稀疏的矩阵。此外,对于随机噪声矩阵和恒等观测算子的情况,我们建立了极小化极大误差的匹配下界。数值模拟证实了我们预测的精确性。
引用
@article{arxiv.1102.4807,
title = {Noisy matrix decomposition via convex relaxation: Optimal rates in high dimensions},
author = {Alekh Agarwal and Sahand N. Negahban and Martin J. Wainwright},
journal= {arXiv preprint arXiv:1102.4807},
year = {2012}
}
备注
41 pages, 2 figures