中文

超越平行薄饼:非球面高斯混合的拟多项式时间保证

机器学习 2023-06-09 v2 数据结构与算法 机器学习

摘要

我们考虑由 k2k\geq 2 个高斯分量组成的混合模型,其均值和协方差(所有分量相同)均未知,且分离良好,即对于足够大的常数 C1C\ge 1,不同分量的统计重叠至多为 kCk^{-C}。先前的统计查询 [DKS17] 和基于格 [BRST21, GVV22] 的下界给出了形式化证据,表明即使将此类混合与(纯)高斯分布区分开来也可能是指数困难的(关于 kk)。我们证明,这种困难只可能在混合权重被允许为指数小时出现;而对于多项式下界约束的混合权重,在拟多项式时间内获得非平凡算法保证是可能的。具体而言,我们开发了基于平方和方法的算法,其运行时间关于最小混合权重是拟多项式的。该算法能可靠区分 k2k\ge 2 个分离良好的高斯分量混合与(纯)高斯分布。作为证书,算法计算输入样本的一个二划分,分离一对混合分量,即划分两侧均包含至少一个分量的大部分样本点。对于共线均值的特殊情况,我们的算法输出输入样本的 kk 聚类,其与混合分量近似一致。对于任意两个混合分量间重叠关于 kk 拟多项式下界(此外关于 kk 多项式上界)的情况,我们也获得了类似的聚类保证。一个关键技术要素是用对应于以最小混合权重对数为阶的两个精心选择矩的多项式之比,来刻画分离良好高斯分量的分离方向。

关键词

引用

@article{arxiv.2112.05445,
  title  = {Beyond Parallel Pancakes: Quasi-Polynomial Time Guarantees for Non-Spherical Gaussian Mixtures},
  author = {Rares-Darius Buhai and David Steurer},
  journal= {arXiv preprint arXiv:2112.05445},
  year   = {2023}
}

备注

67 pages, the arxiv landing page contains a shortened abstract