结构化噪声尖峰矩阵模型的信息极限与Thouless-Anderson-Palmer方程
信息论
2024-07-09 v2 无序系统与神经网络
机器学习
math.IT
统计理论
统计理论
摘要
我们考虑一个贝叶斯推断的典型问题：结构化尖峰模型，其中低秩信号被加性噪声破坏。当噪声为高斯Wigner矩阵时，信息论极限和算法极限都已得到充分理解，但更现实的噪声结构情况仍然具有挑战性。为了在保持数学可处理性的同时捕捉结构，一系列工作聚焦于旋转不变噪声。然而，现有研究要么提供次优算法，要么局限于噪声系综的特殊情况。本文利用统计物理（复制方法）和随机矩阵理论（广义球面积分）的工具，首次刻画了从一般迹系综中抽取的噪声矩阵的信息论极限。值得注意的是，我们的分析揭示了旋转不变模型与替代高斯模型之间的渐近等价性。最后，我们展示了如何利用受自适应Thouless-Anderson-Palmer（TAP）方程理论启发的高效算法来饱和预测的统计极限。
引用
@article{arxiv.2405.20993,
title = {Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise},
author = {Jean Barbier and Francesco Camilli and Marco Mondelli and Yizhou Xu},
journal= {arXiv preprint arXiv:2405.20993},
year = {2024}
}