单次遍历的稀疏化高斯混合模型

我们提出了一种单次遍历的稀疏化高斯混合模型（SGMM）。给定 $P$ 维的 $N$ 个数据点 $X$，该模型将 $K$ 个高斯分布拟合到 $X$ 上，并将每个点（软）分类到这些簇中。在支付了 $\mathcal{O}(NP\log P)$ 的预处理数据前置代价后，我们对每个数据点的 $Q$ 个条目进行子采样，并丢弃完整的 $P$ 维数据。SGMM 在对角或球形协方差下每次迭代以 $\mathcal{O}(KNQ)$ 时间运行，与 $P$ 无关，同时在完整的 $P$ 维空间中估计模型参数，使其成为单次遍历的，因此适用于流式数据。我们推导了稀疏化机制下参数的最大似然估计量，在合成数据和真实数据上展示了聚类效果，并表明 SGMM 在保持精度的同时比 GMM 更快。