高维高斯分布与高斯混合鲁棒估计的统计查询下界
摘要
我们描述了一种通用技术，为一系列涉及高斯分布的基础高维学习问题给出了首个统计查询下界。我们的主要结果针对以下问题：(1) 学习高斯混合模型 (GMMs)，以及 (2) 单个未知高斯分布的鲁棒（不可知）学习。对于每个问题，我们展示了该问题的任何统计查询算法的（信息论）样本复杂度与计算复杂度之间的超多项式鸿沟。问题 (1) 的 SQ 下界在性质上被已知的 GMM 学习算法所匹配。问题 (2) 的下界意味着~\cite{DiakonikolasKKLMS16} 中鲁棒学习算法的精度在所有多项式时间 SQ 算法中基本上是最优的。我们的 SQ 下界通过一种统一的矩匹配技术获得，该技术在其它情境中有用且可能引起更广泛的兴趣。我们的技术为若干相关的无监督估计问题给出了近乎紧的下界。具体地，对于 (3) 谱范数下的鲁棒协方差估计，以及 (4) 鲁棒稀疏均值估计问题，我们建立了 SQ 算法的二次统计-计算权衡，与已知上界匹配。最后，我们的技术可用于获得高维检验问题的紧样本复杂度下界。具体地，对于鲁棒检验未知均值（已知协方差）高斯的经典问题，我们的技术意味着一个信息论样本下界，其随维度线性缩放。我们的样本下界与相应鲁棒学习问题的样本复杂度匹配，并将鲁棒检验的样本复杂度与标准（非鲁棒）检验分离开来。
引用
@article{arxiv.1611.03473,
title = {Statistical Query Lower Bounds for Robust Estimation of High-dimensional Gaussians and Gaussian Mixtures},
author = {Ilias Diakonikolas and Daniel M. Kane and Alistair Stewart},
journal= {arXiv preprint arXiv:1611.03473},
year = {2017}
}
备注
Changes from v1: Revised presentation. Added more applications of the technique (SQ lower bounds for robust sparse mean estimation and robust covariance estimation in spectral norm). Sharpened testing lower bound to linear in the dimension (compared to nearly-linear in first version)