协方差未知的高斯混合聚类
机器学习
2021-11-30 v2 信息论
机器学习
math.IT
最优化与控制
统计理论
统计理论
摘要
我们研究一个聚类问题,其数据来自共享一个公共但未知且可能病态协方差矩阵的高斯混合。我们首先考虑具有两个等大小分量的高斯混合,并基于极大似然估计推导出一个 Max-Cut 整数规划。我们证明当样本数在维度上线性增长(至多一个对数因子)时,其解达到最优误分类率。然而,求解 Max-cut 问题似乎是计算上难处理的。为克服这一点,我们开发了一种高效谱算法,它达到最优率但需要二次的样本量。尽管该样本复杂度比 Max-cut 问题更差,我们猜想任何多项式时间方法都无法表现得更好。此外,我们收集了数值和理论证据,支持统计-计算鸿沟的存在。最后,我们将 Max-Cut 规划推广到一个 -means 规划,以处理可能具有不等权重的多分量混合。对于满足运输代价不等式的分布混合(包含高斯和强对数凹分布),它享有类似的最优性保证。
引用
@article{arxiv.2110.01602,
title = {Clustering a Mixture of Gaussians with Unknown Covariance},
author = {Damek Davis and Mateo Díaz and Kaizheng Wang},
journal= {arXiv preprint arXiv:2110.01602},
year = {2021}
}
备注
89 pages