利用谱分解学习离散乘积分布的混合模型

我们研究了从样本中学习分布的问题，其中基础分布是离散域上乘积分布的混合模型。该问题由众包、推荐系统和学习布尔函数等几个实际应用所驱动。现有的解决方案要么严重依赖于混合模型中分量数量有限这一事实，要么其样本/时间复杂度关于分量数量呈指数级。在本文中，我们引入了一种多项式时间/样本复杂度的方法，用于学习 $\{1, 2, \dots, \ell\}^n$ 上 $r$ 个离散乘积分布的混合模型，适用于一般的 $\ell$ 和 $r$。我们证明了我们的方法在统计上是一致的，并进一步提供了有限样本保证。我们利用了近期关于高阶矩匹配张量分解工作的技术。这些矩匹配方法的关键步骤是构造具有低秩谱分解的特定矩阵和特定张量。这些张量通常直接从样本中估计。学习离散乘积分布混合模型的主要挑战在于，无法直接从样本矩中获得这些低秩张量。相反，我们将张量估计问题简化为：$a)$ 仅使用非对角块元素估计低秩矩阵；以及 $b)$ 使用少量线性测量估计张量。利用矩阵补全的最新进展，我们给出了一种基于交替最小化的方法来估计低秩矩阵，并将张量补全问题表述为最小二乘问题。