基于熵方法的非高斯分量分析

非高斯分量分析（NGCA）是多维数据分析中的一个问题，自2006年提出以来，在统计学和机器学习中引起了相当多的关注。在该问题中，我们在 n 维欧几里得空间中有一个随机变量 $X$。n 维欧几里得空间中存在一个未知子空间 $\Gamma$，使得 $X$ 在 $\Gamma$ 上的正交投影是标准多维高斯分布，而 $X$ 在 $\Gamma^{\perp}$（即 $\Gamma$ 的正交补）上的正交投影是非高斯的，其意义在于所有一维边缘分布在由矩定义的某一度量下均不同于高斯分布。NGCA 问题是在给定 $X$ 样本的情况下近似非高斯子空间 $\Gamma^{\perp}$。$\Gamma^{\perp}$ 中的向量对应于“有趣”的方向，而 $\Gamma$ 中的向量对应于数据噪声很大的方向。NGCA 模型最有趣的应用是噪声幅度与真实信号幅度相当的情况，在这种设定下，传统降噪技术（如 PCA）无法直接应用。NGCA 也与降维及其他数据分析问题（如 ICA）相关。长期以来，统计学中已使用投影寻踪等技术研究类 NGCA 问题。我们给出了一种算法，其时间复杂度在维度 $n$ 上为多项式，并且对衡量非高斯子空间与算法输出子空间之间角度距离的错误参数具有逆多项式依赖。我们的算法以相对熵作为对比函数，并适用于投影寻踪框架。我们为分析算法所开发的技术或可用于其他相关问题。