学习大离散域上任意分布的混合

我们给出了一种学习非结构化分布混合的算法。该问题出现在各种无监督学习场景中，例如从涵盖多个主题的文档语料库中学习主题模型。我们展示了如何学习$k$个任意分布在大离散域$[n]=\{1,2,\dots,n\}$上的混合以及混合权重，使用$O(n\polylog n)$个样本。（在主题模型学习设定中，混合成分对应主题分布。）在通常的混合分布采样过程中，对于$k>1$，该任务在信息论上是不可能的。然而，存在一些情况（如上述主题模型案例），其中每个样本点包含来自同一混合成分的多个观测值。这个观测数量，我们称之为“采样孔径”，是问题的关键参数。我们获得了第一个无需对混合成分施加任何假设的混合学习问题的界限。我们证明了高效学习在信息论最小可能的孔径$2k-1$处是可能的。因此，我们实现了对$n$的近乎最优依赖和最优孔径。虽然我们的算法所需的样本量对$k$呈指数依赖，但我们证明当考虑一般混合时，这种依赖是不可避免的。一系列工具为算法做出了贡献，例如随机矩阵的集中结果、降维、矩估计和敏感性分析。