混合学习的一种傅里叶方法

我们重新审视学习球面高斯混合的问题。给定来自混合 $\frac{1}{k}\sum_{j=1}^{k}\mathcal{N}(\mu_j, I_d)$ 的样本，目标是估计均值 $\mu_1, \mu_2, \ldots, \mu_k \in \mathbb{R}^d$ 至小误差内。该学习问题的难度可由分离度 $\Delta$ 衡量，定义为所有均值对之间的最小距离。Regev 与 Vijayaraghavan（2017）表明，在 $\Delta = \Omega(\sqrt{\log k})$ 分离下，可用 $\mathrm{poly}(k, d)$ 样本学习均值，而若 $\Delta = o(\sqrt{\log k})$ 且 $d = \Omega(\log k)$ 则需要超多项式多样本。这为 $d = o(\log k)$ 的低维情形留下开放问题。本工作中，我们给出一种算法，在 $d = O(\log k/\log\log k)$ 维下、分离度 $d/\sqrt{\log k}$（除去双重对数因子）高效学习均值。该分离度严格小于 $\sqrt{\log k}$，且被证明是必要的。结合 Regev 与 Vijayaraghavan（2017）的结果，我们的工作几乎确定了球面高斯混合高效参数学习变为可能的临界分离阈值。更一般地，我们的算法运行时间为 $\mathrm{poly}(k)\cdot f(d, \Delta, \epsilon)$，因而在参数 $d$、$\Delta$ 与 $\epsilon$ 下是固定参数可处理的。我们的方法基于在精心选择的频率上估计混合的傅里叶变换，算法及其分析都简单且初等。我们的正面结果可轻易推广到学习非高斯分布的混合，只需分布的傅里叶谱满足温和条件。