中文

列表可解码的鲁棒均值估计与球面高斯混合学习

数据结构与算法 2017-11-21 v1 计算复杂性 信息论 机器学习 math.IT 统计理论 统计理论

摘要

我们研究列表可解码高斯均值估计问题以及相关的球面高斯分离混合学习问题。我们开发了一组技术,为这些问题给出了具有显著改进保证的新高效算法。{\bf 列表可解码均值估计。} 固定任意 dZ+d \in \mathbb{Z}_+0<α<1/20< \alpha <1/2。我们设计了一个运行时间为 O(poly(n/α)d)O (\mathrm{poly}(n/\alpha)^{d}) 的算法,输出一个包含 O(1/α)O(1/\alpha) 个候选向量的列表,使得以高概率其中一个候选与真实均值的 2\ell_2 距离在 O(α1/(2d))O(\alpha^{-1/(2d)}) 之内。此前该问题的唯一算法在第二矩条件下达到误差 O~(α1/2)\tilde O(\alpha^{-1/2})。对于 d=O(1/ϵ)d = O(1/\epsilon),我们的算法在多项式时间内运行并达到误差 O(αϵ)O(\alpha^{\epsilon})。我们还给出了一个统计查询下界,表明我们算法的复杂度在性质上接近最优。{\bf 球面高斯混合学习。} 我们给出了一个球面高斯混合学习算法,与先前工作相比在显著更弱的分离假设下成功。对于 kk 个单位协方差高斯均匀混合的典型情形,我们得到:对任意 ϵ>0\epsilon>0,若均值间两两分离至少 Ω(kϵ+log(1/δ))\Omega(k^{\epsilon}+\sqrt{\log(1/\delta)}),我们的算法以样本复杂度和运行时间 poly(n,1/δ,(k/ϵ)1/ϵ)\mathrm{poly} (n, 1/\delta, (k/\epsilon)^{1/\epsilon}) 在精度 δ\delta 内学习未知参数。先前已知最好的多项式时间算法要求分离至少 k1/4polylog(k/δ)k^{1/4} \mathrm{polylog}(k/\delta)。我们的主要技术贡献是一种新技术,利用 dd 次多元多项式从高维数据集中剔除异常值,其中多数点已被污染。

关键词

引用

@article{arxiv.1711.07211,
  title  = {List-Decodable Robust Mean Estimation and Learning Mixtures of Spherical Gaussians},
  author = {Ilias Diakonikolas and Daniel M. Kane and Alistair Stewart},
  journal= {arXiv preprint arXiv:1711.07211},
  year   = {2017}
}