中文

全有或全无现象:从单字母到高维

统计理论 2020-01-01 v1 信息论 math.IT 统计理论

摘要

我们考虑从nn个观测Y=Xβ+WY = X \beta + W中估计pp维向量β\beta的线性回归问题,其中βji.i.d.π\beta_j \stackrel{\text{i.i.d.}}{\sim} \piπ\pi为均值零、方差一的实值分布),Xiji.i.d.N(0,1)X_{ij} \stackrel{\text{i.i.d.}}{\sim} \mathcal{N}(0,1)Wii.i.d.N(0,σ2)W_i\stackrel{\text{i.i.d.}}{\sim} \mathcal{N}(0, \sigma^2)。在渐近 regime 下,当pp \to \inftyn/pδn/p \to \deltap/σ2snrp/ \sigma^2 \to \mathsf{snr}δ,snr(0,)\delta, \mathsf{snr}\in (0, \infty)为两个固定常数),极限(归一化)最小均方误差(MMSE)已由关联单字母(加性高斯标量)信道的MMSE所刻画。在本文中,我们证明:若单字母信道的MMSE函数收敛到阶跃函数,则线性回归问题中估计β\beta的极限MMSE也收敛到从11在临界阈值处跳变到00的阶跃函数。此外,我们确立(MSE最优)近似消息传递算法的极限均方误差也收敛到具有更大阈值的阶跃函数,为两个阈值间存在计算-统计鸿沟提供了证据。

关键词

引用

@article{arxiv.1912.13027,
  title  = {All-or-Nothing Phenomena: From Single-Letter to High Dimensions},
  author = {Galen Reeves and Jiaming Xu and Ilias Zadik},
  journal= {arXiv preprint arXiv:1912.13027},
  year   = {2020}
}

备注

This paper was presented at the 2019 IEEE International Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP), Guadeloupe, French West Indies