学习简单非参数混合模型难度的紧界

我们研究有限混合中非参数分布的学习问题,并建立了此类模型中学习分量分布样本复杂度的紧界。即,给定来自概率密度函数 $f$ 的 i.i.d. 样本,其中 $$f=w_1f_1+w_2f_2, \quad w_1+w_2=1, \quad w_1,w_2>0$$ 我们关注学习每个分量 $f_i$。在不对 $f_i$ 作任何假设时,该问题是不适定的。为辨识分量 $f_i$,我们假设每个 $f_i$ 可写为高斯与紧支撑密度 $\nu_i$ 的卷积,且 $\text{supp}(\nu_1)\cap \text{supp}(\nu_2)=\emptyset$。我们的主要结果表明,估计每个 $f_i$ 需要 $(\frac{1}{\varepsilon})^{\Omega(\log\log \frac{1}{\varepsilon})}$ 个样本。证明依赖于一个定量 Tauberian 定理,其给出了用高斯快速逼近的速率,这本身可能具有独立意义。为说明该下界紧,我们还提出一种算法,使用 $(\frac{1}{\varepsilon})^{O(\log\log \frac{1}{\varepsilon})}$ 个样本估计每个 $f_i$。与基于矩匹配和张量方法的现有潜变量模型学习思路不同,我们的证明通过对一个病态线性系统借助正交函数进行精细分析完成。综合这些界,我们得出结论:该问题的最优样本复杂度恰介于多项式与指数之间,这在学习理论中并不常见。