基于一阶对消的 AMP 及其状态演化简单推导
信息论
2023-07-19 v3 math.IT
摘要
我们考虑线性回归问题，目标是从测量值 中恢复向量 ，其中矩阵 已知、噪声 未知。对于大型独立同分布次高斯 ，近似消息传递（AMP）算法可通过状态演化（SE）形式精确分析，且该形式进一步表明 AMP 在某些 regime 下是 Bayes 最优的。然而，严格的 SE 证明冗长且复杂。并且，尽管 AMP 算法可推导为循环置信传播（LBP）的近似，该视角很少揭示为何大型独立同分布 矩阵对 AMP 重要，以及 AMP 为何具有状态演化。本工作中，我们基于“一阶对消”思想给出 AMP 及其状态演化的启发式推导，提供了 LBP 推导所缺失的见解，同时比严格 SE 证明简短得多。
引用
@article{arxiv.1907.04235,
title = {A Simple Derivation of AMP and its State Evolution via First-Order Cancellation},
author = {Philip Schniter},
journal= {arXiv preprint arXiv:1907.04235},
year = {2023}
}