高斯混合模型似然中的局部极大值：结构性结果与算法后果

我们提供了关于具有 $M \geq 3$ 个分量的高斯混合模型的总体（无限样本）似然函数的两个基本结果。我们的第一个主要结果表明，即使在等权重、充分分离且球形高斯混合的特殊情况下，总体似然函数仍存在不良局部极大值。我们证明了这些不良局部极大值的对数似然值可以比任何全局最优值任意差，从而解决了 Srebro (2007) 提出的一个开放问题。我们的第二个主要结果表明，随机初始化的 EM 算法（或其一阶变体）以至少 $1-e^{-\Omega(M)}$ 的概率收敛到不良临界点。我们进一步证明，EM 的一阶变体几乎必然不会收敛到严格鞍点，这表明一阶方法的较差性能可归因于不良局部极大值的存在，而非不良鞍点。总体而言，我们的结果突出了在实践中使用 EM 算法时仔细初始化的必要性，即使在极具优势的设定下也是如此。