高斯混合模型的亚线性变分优化：参数数十亿至上百亿

高斯混合模型 (GMM) 是机器学习中最常用的模型之一。然而，对于拥有大量数据点 $N$ 且维度 $D$ 很高的 datasets 来说，训练大规模的通用 GMM 变得计算上不可行。对于任意协方差的 GMM，我们在此派生出一种高度有效的变分近似方法，并将其集成到混合因子分析器 (MFA) 中。对于具有 $C$ 个成分的 GMM，我们提出的算法将每个迭代的运行时间复杂度从 $\mathcal{O}(NCD^2)$ 降低到随 $D$ 线性、随 $NC$ 亚线性的复杂度。在数值实验中，我们首先验证复杂度的降低结果在整个 GMM 优化过程中实现亚线性扩展。其次，我们在大规模基准数据集上表明，亚线性算法相对于最新方法实现了数量级的加速。再者，作为一个概念验证，我们最终在约 1 亿张图片上训练了拥有 100 亿多个参数的 GMM，观察到在单台最先进 CPU 上训练时间不到 9 小时。最后，我们进一步展示了大规模 GMM 在零样象去噪任务中的有效性，其中亚线性训练结果实现了最先进的去噪时间，同时保持了具竞争力的去噪性能。