非高斯分量分析的 Sum-of-Squares 下界
机器学习
2024-10-30 v1 计算复杂性
离散数学
机器学习
摘要
非高斯分量分析 (NGCA) 是在高维数据集中寻找非高斯方向的统计任务。具体来说,给定来自分布 的独立同分布样本,该分布在隐藏方向 中的行为类似于已知分布 ,而在正交余向量中则类似于标准高斯分布,目标是近似隐藏方向。标准表述假设前 矩与标准高斯相同,而第 矩不同。在轻度假设下,该问题的样本复杂度为 。然而,所有已知的高效算法都需要 的样本。先前工作开发了尖锐的统计查询和低度测试下界,表明该问题存在信息-计算权衡。本文我们在 Sum-of-Squares (SoS) 框架下研究 NGCA 的复杂度。我们的主要贡献是为 NGCA 首次给出超常数阶 SoS 下界。具体而言,我们表明如果非高斯分布 匹配 的前 矩并满足其他轻度条件,则在来自正态分布的样本数少于 时,高概率下,度为 的 SoS 无法否定存在此类方向 。我们的结果显著强化了先前工作,通过建立对更广泛算法族的超多项式信息-计算权衡。作为推论,我们获得了几个鲁棒统计问题和混合模型学习的 SoS 下界。我们的 SoS 下界证明引入了一种新技术,我们认为这可能具有更广泛的兴趣,以及对现有方法的若干细化。
引用
@article{arxiv.2410.21426,
title = {Sum-of-squares lower bounds for Non-Gaussian Component Analysis},
author = {Ilias Diakonikolas and Sushrut Karmalkar and Shuo Pang and Aaron Potechin},
journal= {arXiv preprint arXiv:2410.21426},
year = {2024}
}