稀疏含噪矩阵估计中的 0-1 相变
信息论
2019-11-13 v1 无序系统与神经网络
机器学习
math.IT
概率论
摘要
我们考虑在稀疏极限下，对由加性高斯噪声矩阵破坏的秩一矩阵（信号尖峰）进行估计的统计模型。在此极限下，构造该秩一矩阵的底层隐藏向量具有的非零分量个数随向量总维数呈亚线性增长，且信号强度以适当速度趋于无穷。我们证明了在合适的稀疏极限下，信号尖峰与观测含噪矩阵之间渐近互信息的显式低维变分公式。对于 Bernoulli 与 Bernoulli-Rademacher 分布的向量，当稀疏性与信号强度满足适当的标度关系时，这些公式意味着渐近最小均方误差存在尖锐的 0-1 相变。近期在稀疏高维线性回归（压缩感知）背景下也已分析了类似的相变。
引用
@article{arxiv.1911.05030,
title = {0-1 phase transitions in sparse spiked matrix estimation},
author = {Jean Barbier and Nicolas Macris},
journal= {arXiv preprint arXiv:1911.05030},
year = {2019}
}