大维数 regime 下球面高斯混合模型的 Whitening
机器学习
2026-01-22 v2 机器学习
摘要
Whitening是无监督学习中的经典技术，可通过标准化数据来促进估计任务。一个重要应用是通过由高阶矩构建的张量分解来估计潜变量模型。特别是，whitening将球面高斯混合模型（GMM）的均值正交化，从而使对应的矩张量可进行正交分解，因而更易于分解。然而，在数据高维且稀缺的大维数 regime（LDR）中，由样本协方差构建的标准whitening矩阵变得无效，因为后者在谱上发生畸变。因此，球面GMM的whitened均值不再正交。利用随机矩阵理论，我们推导了其点积的精确极限，在LDR下通常不为零。作为主要贡献，我们随后构造了一个修正的whitening矩阵以恢复渐近正交性，从而在球面GMM估计中获得性能提升。
引用
@article{arxiv.2509.17636,
title = {Whitening Spherical Gaussian Mixtures in the Large-Dimensional Regime},
author = {Mohammed Racim Moussa Boudjemaa and Alper Kalle and Xiaoyi Mai and José Henrique de Morais Goulart and Cédric Févotte},
journal= {arXiv preprint arXiv:2509.17636},
year = {2026}
}
备注
Accepted for presentation at ICASSP 2026