超高维相关性挖掘的统一框架
统计理论
2022-08-25 v2 统计理论
摘要
诸多应用受益于与高维中识别具有大相关或偏相关变量相关的理论。近来在样本量 固定、维度 趋于无穷的超高维设定下已取得进展。尽管有这些进展,相关性筛选框架仍存在实际、方法与理论上的缺陷。例如,先前的相关性筛选理论要求总体协方差矩阵稀疏且为块对角。然而此块稀疏假设在实际应用中限制过强。再如一例,相关与偏相关筛选需估计依赖度量,计算上可能难以承受。本文提出一种关联与偏相关挖掘的统一方法,其不限于块对角相关结构,从而产出适用于现代应用的方法论。通过联系随机几何图,高度相关或偏相关变量的数量被证明具有复合 Poisson 有限样本刻画,这在有限 情形及 趋于无穷时均成立。该统一框架还展示了相关与偏相关筛选之间的对偶性,具有理论与实际后果。
引用
@article{arxiv.2101.04715,
title = {A unified framework for correlation mining in ultra-high dimension},
author = {Yun Wei and Bala Rajaratnam and Alfred O. Hero},
journal= {arXiv preprint arXiv:2101.04715},
year = {2022}
}
备注
70 pages, 9 figures