旋转不变模型中近似消息传递的 PCA 初始化
机器学习
2021-10-15 v2 信息论
机器学习
math.IT
统计理论
统计理论
摘要
我们研究在存在旋转不变噪声（一类比高斯噪声更一般的扰动）的情况下估计秩- 信号的问题。主成分分析（PCA）提供了一种自然的估计器，并且其在高维情形下的性能已有尖锐结果。最近，近似消息传递（AMP）算法被提出作为替代估计器，有潜力改进 PCA 的精度。然而，现有对 AMP 的分析要求一种既与信号相关又与噪声独立的初始化，这在实际中往往不现实。在这项工作中，我们结合两种方法，提出用 PCA 初始化 AMP。我们的主要结果是对该估计器性能的严格渐近刻画。AMP 算法及其分析均不同于先前在高斯情形下导出的那些：在每次迭代中，我们的 AMP 算法需要一个特定项来解释 PCA 初始化，而在高斯情况下，PCA 初始化仅影响 AMP 的第一次迭代。证明基于一个两阶段人工 AMP，它首先逼近 PCA 估计器，然后模仿真实的 AMP。我们的数值模拟显示了 AMP 结果与理论预测之间的极好吻合，并指出了关于实现贝叶斯最优性能的一个有趣开放方向。
引用
@article{arxiv.2106.02356,
title = {PCA Initialization for Approximate Message Passing in Rotationally Invariant Models},
author = {Marco Mondelli and Ramji Venkataramanan},
journal= {arXiv preprint arXiv:2106.02356},
year = {2021}
}
备注
72 pages, 2 figures, appeared in Neural Information Processing Systems (NeurIPS), 2021