高斯混合模型的对角加权广义矩估计
机器学习
2025-07-29 v1 数值分析
数值分析
统计理论
统计方法学
机器学习
统计理论
摘要
自 Pearson 于 1894 年首次将矩法 (method of moments) 应用于将数据建模为一维高斯混合后，基于矩的方法便不断发展。其中，广义矩法 (GMM) 通过对矩进行适当加权来提高 MM 的统计效率。然而，MM 和 GMM 的计算复杂度和存储复杂度随维度指数增长，使得这些方法在高维数据或需要更高阶矩时变得不实用。由于 GMM 还需要估计巨大的加权矩阵，这些计算瓶颈尤为严重。为克服这些瓶颈，我们提出对角加权 GMM (DGMM)，在统计效率、计算复杂度和数值稳定性之间取得平衡。我们将 DGMM 应用于弱分离的异方差低秩高斯混合的参数估计问题，设计了一种无需显式计算或存储矩张量即可获得 DGMM 估计器的高效且数值稳定的算法。我们实现了该算法并经实证验证 DGMM 的优势：在数值研究中，DGMM 在估计误差上更小，同时所需的运行时间显著缩短于 MM 和 GMM。代码和数据将在发表后于 https://github.com/liu-lzhang/dgmm 提供。
引用
@article{arxiv.2507.20459,
title = {Diagonally-Weighted Generalized Method of Moments Estimation for Gaussian Mixture Modeling},
author = {Liu Zhang and Oscar Mickelin and Sheng Xu and Amit Singer},
journal= {arXiv preprint arXiv:2507.20459},
year = {2025}
}