一种近乎最优且不可知的算法：用于任意常数k的k个高斯混合的正确学习

学习高斯混合模型(GMM)是机器学习、学习理论和统计学中的基本问题。学习GMM的一种概念是正确学习：此处目标是找到由$k$个高斯组成的混合$\mathcal{M}$，它接近于我们抽取样本未知分布密度$f$。$\mathcal{M}$与$f$间的距离通常在全变分或$L_1$范数下度量。我们给出一种学习$k$个单变量高斯混合的算法，对任意固定$k$近乎最优。我们算法的样本复杂度为$\tilde{O}(\frac{k}{\epsilon^2})$，运行时间为$(k \cdot \log\frac{1}{\epsilon})^{O(k^4)} + \tilde{O}(\frac{k}{\epsilon^2})$。众所周知该样本复杂度是最优的（至对数因子），且已被先前工作实现。然而，正确学习$k$-GMM的最佳已知时间复杂度为$\tilde{O}(\frac{1}{\epsilon^{3k-1}})$。特别地，$\frac{1}{\epsilon}$与$k$之间的依赖是指数级的。我们通过将$\frac{1}{\epsilon}$项替换为$\log \frac{1}{\epsilon}$同时仅适度增加指数，显著改善了该依赖。因此，对任意固定$k$，$\tilde{O} (\frac{k}{\epsilon^2})$项主导我们的运行时间，从而我们的算法运行时间几乎与抽取样本数线性相关。实现对$k$-GMM正确学习的$\textrm{poly}(k, \frac{1}{\epsilon})$运行时间最近被多位研究者列为开放问题，我们在此问题上取得进展。此外，我们的方法提供不可知学习保证：即使我们采样分布不是高斯混合，算法也返回好的GMM。据我们所知，我们的算法是首个用于GMM的不可知正确学习算法。