高维数据分析中信号、噪声及不可区分子集的识别
统计方法学
2013-05-02 v1
摘要
受高维数据分析应用的启发（在该类应用中强信号往往易于凸显，而弱信号可能与噪声无法区分），我们开发了一个统计框架，旨在提供一种将数据新颖地分类为信号、噪声和不可区分子集的方法。这种三子集分类在高维情形下尤为相关，因为大量信号可能被大量的噪声所掩盖。理解三子集现象对于研究人员在实际应用中设计高效的后续研究至关重要。我们开发了一种高效的数据驱动过程来识别这三个子集。理论研究表明，在一定条件下，只有信号被包含在已识别的信号子集中，而其余信号则以高概率被包含在已识别的不可区分子集中。此外，所提出的过程能适应未知的信号强度，使得当信号变强时，已识别的不可区分子集会向真实的不可区分子集收缩。该过程已通过蒙特卡洛模拟进行了检验，并与基于 FDR 控制的方法进行了比较。此外，它已成功应用于一项真实数据应用中，以识别具有不同信号强度的基因组变异。
引用
@article{arxiv.1305.0220,
title = {Identification of Signal, Noise, and Indistinguishable Subsets in High-Dimensional Data Analysis},
author = {X. Jessie Jeng},
journal= {arXiv preprint arXiv:1305.0220},
year = {2013}
}
备注
30 pages