中文

通过傅里叶分析学习球形高斯混合模型

数据结构与算法 2025-09-10 v2 机器学习 最优化与控制

摘要

假设我们给定了来自混合分布 μ\mu 的独立同分布样本 xlx_l,该混合由不超过 kk 个方差为 11dd 维球形高斯分布 μi\mu_i 组成,且两个不同中心 yly_lyjy_j 之间的最小 2\ell_2 距离大于 dΔ\sqrt{d} \Delta(其中 cΔc \leq \Deltac(0,1)c\in (0,1) 为一个小的正常数)。我们开发了一种随机算法,以高于 1exp(k/c)1 - \exp(-k/c) 的概率学习到高斯中心 yly_l(在 2\ell_2 距离 δ<Δd2\delta < \frac{\Delta\sqrt{d}}{2} 以内)和权重 wlw_l(在 cwmincw_{min} 以内)。样本数量与计算时间的上界为 poly(k,d,1δ)poly(k, d, \frac{1}{\delta})。当 ω(1)dO(logk)\omega(1) \leq d \leq O(\log k) 时,这种关于样本与计算复杂度的上界此前是未知的。当 d=O(1)d = O(1) 时,这源于 Regev 和 Vijayaraghavan 的工作。这些作者还表明,在 dd 维、半径为 Θ(d)\Theta(\sqrt{d}) 的球中随机混合高斯分布的样本复杂度,当 ddΘ(logk)\Theta( \log k) 时至少为 poly(k,1δ)poly(k, \frac{1}{\delta}),说明我们的结果在此情形下是紧的。

关键词

引用

@article{arxiv.2004.05813,
  title  = {Learning Mixtures of Spherical Gaussians via Fourier Analysis},
  author = {Somnath Chakraborty and Hariharan Narayanan},
  journal= {arXiv preprint arXiv:2004.05813},
  year   = {2025}
}

备注

A few omissions are taken care of, and some more references added