低秩高斯混合模型的最优估计与计算极限
统计理论
2022-01-25 v1 信息论
math.IT
统计方法学
机器学习
统计理论
摘要
结构矩阵变量观测在多层网络分析和脑图像聚类等多个领域 routinely 出现。尽管此类数据已被广泛研究并取得了丰硕成果,但其统计最优性与计算极限等基本问题在很大程度上未被探索。在本文中,我们提出一种低秩高斯混合模型(LrMM),假设每个矩阵值观测具有一个植入的低秩结构。我们建立了估计潜在低秩矩阵的最小最大下界,允许整个范围的样本量和信号强度。在称为信息论极限或统计极限的信号强度最小条件下,我们证明了最大似然估计量的最小最大最优性,而该估计量一般而言计算上不可行。若信号强于某一阈值(称为计算极限),我们设计了一种基于谱聚合的计算快速估计量,并证明其最小最大最优性。此外,当信号强度小于计算极限时,我们基于低次似然比框架提供证据,表明任何多项式时间算法都无法一致恢复潜在的低秩矩阵。我们的结果揭示了最小最大误差率中的多重相变以及统计到计算的鸿沟。数值实验证实了我们的理论发现。我们进一步在世界粮食贸易数据集上展示了谱聚合方法的优势。
引用
@article{arxiv.2201.09040,
title = {Optimal Estimation and Computational Limit of Low-rank Gaussian Mixtures},
author = {Zhongyuan Lyu and Dong Xia},
journal= {arXiv preprint arXiv:2201.09040},
year = {2022}
}