论信道容量在高斯混合模型学习中的作用

本文研究了在 $\mathbb{R}^d$ 中具有球协方差矩阵 $\sigma^2\mathbf{I}$ 的平衡高斯混合模型（GMM）的 $k$ 个未知中心的学习样本复杂度。具体而言，我们关注以下问题：在何种最大噪声水平 $\sigma^2$ 下，样本复杂度与从带标签测量中估计中心时基本相当？为此，我们将问题限制于贝叶斯公式，其中中心均匀分布在球面 $\sqrt{d}\mathcal{S}^{d-1}$ 上。我们的主要结果刻画了精确的噪声阈值 $\sigma^2$：在其以下，GMM 学习问题在大型系统极限 $d,k\to\infty$ 下与从带标签观测中学习一样容易，而在其以上则明显更难。该阈值出现在 $\frac{\log k}{d} = \frac12\log\left( 1+\frac{1}{\sigma^2} \right)$，即加性白高斯噪声（AWGN）信道的容量。将 $k$ 个中心视为一个码，该噪声阈值可解释为码在 AWGN 信道上错误概率较小的最大噪声水平。先前关于 GMM 学习问题的工作已确定中心间最小距离作为决定相应 GMM 统计学习难度的关键参数。尽管我们的结果仅针对中心均匀分布于球面上的 GMM 证明，但它们暗示或许正是中心星座作为信道码的解码错误概率决定了相应 GMM 的统计学习难度，而非仅由最小距离决定。