通过去噪矩方法最优估计高斯混合
统计理论
2019-04-16 v2 统计理论
摘要
矩方法 [Pea94] 是统计学中用于参数估计最广泛使用的方法之一，通过求解匹配总体矩与估计矩的方程组实现。然而在实践中，尤其对于重要的混合模型情形，人们常需应对统计上有意义解的不存在或不唯一，以及求解大型多项式系统的高计算成本等困难。此外，矩方法的理论分析主要局限于强假设下建立的渐近正态性类结果。本文考虑估计具有共同（可能未知）方差参数的 分量高斯位置混合。为克服上述理论与算法障碍，关键步骤是在求解矩方法方程前，通过将矩估计投影到截断矩空间（经由半定规划）进行去噪。该正则化不仅确保解的存在性与唯一性，还借助 Gauss 求积给出快速求解器。进一步，通过多项式插值与优化控制技术证明 Wasserstein 距离下的新矩比较定理，我们建立了所提过程的统计保证与自适应最优性，以及在误指定模型下的 oracle 不等式。这些结果也可视为对广义矩方法 [Han82] 的可证明算法，后者涉及非凸优化且缺乏理论保证。
引用
@article{arxiv.1807.07237,
title = {Optimal estimation of Gaussian mixtures via denoised method of moments},
author = {Yihong Wu and Pengkun Yang},
journal= {arXiv preprint arXiv:1807.07237},
year = {2019}
}