中文

超高维相关性挖掘的统一框架

统计理论 2022-08-25 v2 统计理论

摘要

诸多应用受益于与高维中识别具有大相关或偏相关变量相关的理论。近来在样本量 nn 固定、维度 pp 趋于无穷的超高维设定下已取得进展。尽管有这些进展,相关性筛选框架仍存在实际、方法与理论上的缺陷。例如,先前的相关性筛选理论要求总体协方差矩阵稀疏且为块对角。然而此块稀疏假设在实际应用中限制过强。再如一例,相关与偏相关筛选需估计依赖度量,计算上可能难以承受。本文提出一种关联与偏相关挖掘的统一方法,其不限于块对角相关结构,从而产出适用于现代应用的方法论。通过联系随机几何图,高度相关或偏相关变量的数量被证明具有复合 Poisson 有限样本刻画,这在有限 pp 情形及 pp 趋于无穷时均成立。该统一框架还展示了相关与偏相关筛选之间的对偶性,具有理论与实际后果。

关键词

引用

@article{arxiv.2101.04715,
  title  = {A unified framework for correlation mining in ultra-high dimension},
  author = {Yun Wei and Bala Rajaratnam and Alfred O. Hero},
  journal= {arXiv preprint arXiv:2101.04715},
  year   = {2022}
}

备注

70 pages, 9 figures