K步向量近似调查传播
信息论
2024-10-29 v1 math.IT
摘要
近似消息传递最初是为解决高维线性逆问题而开发的，现已广泛应用于信号处理和统计推断。在其著名的变体中，向量近似消息传递、广义近似调查传播和向量近似调查传播即使在假设的生成模型与真实模型不同的情况下也展现出了有效性。然而，许多关于模型失配的基本问题仍未得到解答。例如，目前仍不清楚需要何种程度的模型失配才能使假设后验估计在其自由能的极值条件下表现出复对称性破缺结构，以及需要何种阶数的 RSB。在本文中，我们引入了一种结合 K步 RSB (KRSB) 的新型近似消息传递算法，该算法在特定参数选择下可自然地退化为 VAMP 和 VASP。我们将其称为 K步 VASP (KVASP) 算法。仿真表明，KVASP 在估计精度上显著优于 VAMP 和 GASP，特别是当假设先验具有离散支撑且测量矩阵为非独立同分布时。此外，启发式推导出的 KVASP 的状态演化能够准确跟踪每次迭代的均方误差 (MSE)。在 KRSB 拟设下对 SE 与自由能的比较表明，SE 的不动点方程与自由能的鞍点方程一致。这表明，一旦 KRSB 拟设成立且达到 SE 不动点，KVASP 就能在大系统极限下准确计算 PPE。
引用
@article{arxiv.2410.20902,
title = {K-step Vector Approximate Survey Propagation},
author = {Qun Chen and Haochuan Zhang and Huimin Zhu},
journal= {arXiv preprint arXiv:2410.20902},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2311.05111