基于 Pearson 偏相关并控制 FDR 的分布式条件特征筛选
统计方法学
2024-03-12 v1
摘要
本文研究针对具有超高维特征的海量数据的分布式条件特征筛选。具体而言，首先基于 Pearson 偏相关提出了三种分布式偏相关特征筛选方法（SAPS、ACPS 和 JDPS 方法）。建立了分布式估计的相应一致性以及特征筛选方法的确定筛选性质。其次，由于在特征筛选中使用硬阈值会导致较高的错误发现率（FDR），本文开发了一种基于 knockoff 技术的两步分布式特征筛选方法来控制 FDR。结果表明，所提方法能在有限样本下控制 FDR，且在某些条件下同样具有确定筛选性质。与现有筛选方法不同，本文不仅在变量筛选中考虑了条件变量对响应变量和特征变量的影响，还研究了 FDR 控制问题。最后，通过数值模拟和真实数据分析证实了所提方法的有效性。
引用
@article{arxiv.2403.05792,
title = {Distributed Conditional Feature Screening via Pearson Partial Correlation with FDR Control},
author = {Naiwen Pang and Xiaochao Xia},
journal= {arXiv preprint arXiv:2403.05792},
year = {2024}
}