基于梯度的高维流数据高斯混合模型训练
机器学习
2021-07-05 v3 机器学习
摘要
我们提出一种通过随机梯度下降 (SGD) 高效训练高斯混合模型 (GMM) 的方法，适用于非平稳、高维流数据。我们的训练方案不需要数据驱动的参数初始化（例如 k-means），因此可基于随机初始化进行训练。此外，该方法允许小至 1 的小批量大小，这是流数据设置的典型情况。此类设置中的主要问题是早期训练阶段不期望的局部最优以及由高数据维度引起的数值不稳定性。我们引入自适应退火过程来解决第一个问题，而数值不稳定性则通过使用标准 GMM 对数似然的无指数近似来消除。在多种视觉与非视觉基准上的实验表明，我们的 SGD 方法完全可以无需例如基于 k-means 的质心初始化进行训练。它与期望最大化 (EM) 的在线变体——随机 EM (sEM) 相比也具有优势，在极高维数据上大幅优于后者。
引用
@article{arxiv.1912.09379,
title = {Gradient-based training of Gaussian Mixture Models for High-Dimensional Streaming Data},
author = {Alexander Gepperth and Benedikt Pfülb},
journal= {arXiv preprint arXiv:1912.09379},
year = {2021}
}
备注
17 pages, 4 figures, preprint Neural Processing Letters