奇异性、设定偏差与EM算法的收敛速率

近期一系列工作分析了期望最大化（EM）算法在良设定（well-specified）情形下的行为，其中总体似然在其最大化参数附近局部强凹。例子包括适当分离的高斯混合模型与线性回归混合模型。我们考虑过设定（over-specified）情形，即拟合的组件数量大于真实分布中的组件数量。此类设定偏差情形会导致Fisher信息矩阵出现奇异性，并且基于$d$维中$n$个独立同分布样本的最大似然估计量可能具有非标准的$\mathcal{O}((d/n)^{\frac{1}{4}})$收敛速率。聚焦于将两组件混合模型拟合到$d$维高斯分布的简单设定，我们研究了EM算法在混合权重不同（不平衡情形）与相等（平衡情形）时的行为。我们的分析揭示了这两种情形之间的鲜明区别：前者中，EM算法以几何速率收敛到距真实参数欧氏距离$\mathcal{O}((d/n)^{\frac{1}{2}})$的一点，而后者中收敛速率呈指数级更慢，且不动点具有低得多的$\mathcal{O}((d/n)^{\frac{1}{4}})$精度。对该奇异情形的分析需要引入一些新技术：特别地，我们在相关经验过程中使用了一种精细的局部化形式，并发展了逐步锐化统计速率的递归论证。