全有或全无现象:从单字母到高维
统计理论
2020-01-01 v1 信息论
math.IT
统计理论
摘要
我们考虑从个观测中估计维向量的线性回归问题,其中(为均值零、方差一的实值分布),,。在渐近 regime 下,当时且(为两个固定常数),极限(归一化)最小均方误差(MMSE)已由关联单字母(加性高斯标量)信道的MMSE所刻画。在本文中,我们证明:若单字母信道的MMSE函数收敛到阶跃函数,则线性回归问题中估计的极限MMSE也收敛到从在临界阈值处跳变到的阶跃函数。此外,我们确立(MSE最优)近似消息传递算法的极限均方误差也收敛到具有更大阈值的阶跃函数,为两个阈值间存在计算-统计鸿沟提供了证据。
引用
@article{arxiv.1912.13027,
title = {All-or-Nothing Phenomena: From Single-Letter to High Dimensions},
author = {Galen Reeves and Jiaming Xu and Ilias Zadik},
journal= {arXiv preprint arXiv:1912.13027},
year = {2020}
}
备注
This paper was presented at the 2019 IEEE International Workshop on Computational Advances in Multi-Sensor Adaptive Processing (CAMSAP), Guadeloupe, French West Indies