中文

亚高斯混合模型半定规划的隐藏整数性与半随机鲁棒性

机器学习 2021-10-05 v2 信息论 机器学习 math.IT 最优化与控制 统计理论 统计理论

摘要

我们考虑在亚高斯混合模型下估计离散聚类结构的问题。我们的主要结果确立了该问题的一个半定规划(SDP)松弛的隐藏整数性质:尽管 SDP 的最优解通常不是整数值的,其估计误差可被一个理想化的整数规划的上界所界定。我们进一步证明了该整数规划的误差,进而 SDP 的误差,随信噪比呈指数衰减。此外,我们证明了 SDP 松弛在半随机设定下具有鲁棒性,在该设定中对手可以修改由混合模型生成的数据。特别地,我们将隐藏整数性质推广到半随机模型,从而证明 SDP 在此设定下达到了最优误差界。这些结果共同突显了驱动 SDP 松弛性能的“由全局到局部”机制。据我们所知,我们的结果是混合模型的凸松弛中首个呈指数衰减的误差界。我们结果的一个推论表明,在某些区域内 SDP 的解实际上是整数的且精确的。更一般地,我们的结果确立了 SDP 正确恢复 (1δ)(1-\delta) 比例点的簇归属的充分条件,其中 δ(0,1)\delta\in(0,1)。作为一个特例,我们证明了在 dd 维随机球模型下,当中心间距小至 1/d\sqrt{1/d} 时,SDP 即可实现非平凡(有时是精确的)恢复,这改进了以往需要常数间距的精确恢复结果。

关键词

引用

@article{arxiv.1803.06510,
  title  = {Hidden Integrality and Semi-random Robustness of SDP Relaxation for Sub-Gaussian Mixture Model},
  author = {Yingjie Fei and Yudong Chen},
  journal= {arXiv preprint arXiv:1803.06510},
  year   = {2021}
}

备注

To appear in Mathematics of Operations Research; added results on semi-random robustness