具有未知高斯噪声的可证明独立成分分析及其对高斯混合模型和自编码器的启示

我们提出了一种新的独立成分分析（ICA）算法，具有可证明的性能保证。具体而言，假设我们得到形如$y = Ax + \eta$的样本，其中$A$是一个未知的$n \times n$矩阵，$x$是一个随机变量，其分量独立且四阶矩严格小于标准高斯随机变量的四阶矩，而$\eta$是一个$n$维高斯随机变量，具有未知协方差$\Sigma$：我们给出了一种算法，可证明地恢复$A$和$\Sigma$，误差为加法$\epsilon$，其运行时间和样本复杂度关于$n$和$1/\epsilon$是多项式的。为此，我们引入了一种新颖的“准白化”步骤，该步骤在事先不知道高斯噪声协方差的其他情境中可能有用。我们还给出了一个通用框架，用于寻找函数的所有局部最优解（给定一个近似寻找单个局部最优解的预言机），这是我们算法中的一个关键步骤，在之前的尝试中被忽视，它使我们能够通过局部搜索逐个找到$A$的列时控制误差的累积。