中文

相对 Frobenius 范数下可列表解码协方差估计的谱算法

数据结构与算法 2023-05-02 v1 机器学习 统计理论 机器学习 统计理论

摘要

我们研究可列表解码高斯协方差估计问题。给定一个包含 TTnn 个点的多重集,其中 TT 中未知比例 α<1/2\alpha<1/2 的点是来自未知高斯 N(μ,Σ)\mathcal{N}(\mu, \Sigma) 的独立同分布样本,目标是输出一个包含 O(1/α)O(1/\alpha) 个假设的列表,其中至少一个在相对 Frobenius 范数下接近 Σ\Sigma。我们的主要结果是一个针对该任务的 poly(d,1/α)\mathrm{poly}(d,1/\alpha) 样本与时间算法,其保证相对 Frobenius 范数误差为 poly(1/α)\mathrm{poly}(1/\alpha)。重要的是,我们的算法纯粹依赖于谱技术。作为推论,我们获得了用于高斯混合模型(GMMs)鲁棒部分聚类的有效谱算法——这是 [BDJ+22] 近期关于鲁棒学习任意 GMMs 工作的关键组成部分。结合 [BDJ+22] 的其他组件,我们的新方法产生了首个无平方和(Sum-of-Squares-free)的鲁棒学习 GMMs 算法。在技术层面,我们开发了一种用于可列表解码协方差估计的新型多重滤波方法,该方法在其他设定中可能有用。

关键词

引用

@article{arxiv.2305.00966,
  title  = {A Spectral Algorithm for List-Decodable Covariance Estimation in Relative Frobenius Norm},
  author = {Ilias Diakonikolas and Daniel M. Kane and Jasper C. H. Lee and Ankit Pensia and Thanasis Pittas},
  journal= {arXiv preprint arXiv:2305.00966},
  year   = {2023}
}