基于近似消息传递的低秩矩阵估计
统计理论
2019-08-08 v4 机器学习
统计理论
摘要
考虑在条目受高斯噪声扰动时估计低秩矩阵的问题。若已知信号峰值的条目经验分布,利用此知识的最优估计量可大幅优于简单谱方法。近期工作刻画了高维极限下 Bayes 最优估计量的渐近精度。本文提出一种可在谱阈值之上达到 Bayes 最优精度的实用算法。来自统计物理的一个大胆猜想认为,在同等阈值之下(除非最佳估计量为平凡情形)任何多项式时间算法均无法达到最优误差。我们的方法将近似消息传递 (AMP) 与谱初始化结合使用。AMP 算法已在多种统计估计任务中证明成功,并可通过状态演化进行精确渐近分析。不幸的是,当算法初始化于不稳定不动点附近时(在低秩矩阵估计中常发生),状态演化无法提供信息。我们发展了 AMP 的新分析以允许谱初始化。我们的主定理具一般性并适用于矩阵估计之外。然而,我们将其用于推导噪声中估计秩一矩阵问题的详细预测。该问题的特例通过普适性论证与两个非对称社群的网络社群发现问题密切相关。对一般秩一模型,我们表明 AMP 可用于构造置信区间并控制错误发现率。我们通过考虑稀疏低秩矩阵与具有对称块的块常数低秩矩阵(我们称之为“高斯块模型”)情形给出了该一般方法的示例。
引用
@article{arxiv.1711.01682,
title = {Estimation of Low-Rank Matrices via Approximate Message Passing},
author = {Andrea Montanari and Ramji Venkataramanan},
journal= {arXiv preprint arXiv:1711.01682},
year = {2019}
}
备注
76 pages, 6 pdf figures; Version 4 expands the introductory material and the applications to statistical inference