通过二次型的正态性进行随机最小二乘与 PCA 的推断
统计理论
2024-04-02 v1 统计计算
统计方法学
机器学习
统计理论
摘要
随机算法可用于加速大型数据集的分析。在本文中，我们为多元统计分析中最基本的两个问题——最小二乘和 PCA——开发了一种通过随机草图或投影进行统计推断的统一方法。该方法适用于固定数据集——即以数据为条件——唯一的随机性来自随机算法。我们针对广泛的草图分布提出了统计推断方法，例如子采样随机 Hadamard 变换（SRHT）、稀疏符号嵌入（SSE）和 CountSketch、具有独立同分布条目的草图矩阵以及均匀子采样。据我们所知，目前没有适用于 SSE 以及 PCA 中 SRHT 的类似方法。我们新颖的理论方法基于证明某些二次型的渐近正态性。作为更广泛意义的贡献，我们利用基于利用 Hadamard 变换递归结构的二进展开的新颖证明，展示了 SRHT 二次型的中心极限定理。使用合成数据集和经验数据集的数值实验支持了我们方法的有效性，并特别表明草图方法可以具有比最近提出的最优子采样方法更好的计算-估计权衡。
引用
@article{arxiv.2404.00912,
title = {Inference in Randomized Least Squares and PCA via Normality of Quadratic Forms},
author = {Leda Wang and Zhixiang Zhang and Edgar Dobriban},
journal= {arXiv preprint arXiv:2404.00912},
year = {2024}
}