相关设计下稀疏回归中支撑集恢复的数值刻画
统计方法学
2021-03-25 v1 应用统计
摘要
稀疏回归作为一种特征选择方法，频繁应用于多种科学场景中。科学数据中普遍存在的预测特征间强相关性，严重妨碍了特征选择与估计。这些基本问题常被从业者忽视，并危及基于估计模型所得结论的可靠性。另一方面，关于 Lasso 等诱导稀疏性正则化回归的理论结果，大多通过渐近方法探讨选择一致性的条件，而忽视了正则化参数选取这一模型选择问题。在本数值研究中，我们通过对若干回归估计量与一系列模型选择策略的性能进行详尽刻画，来解决这些问题。这些估计量与选择准则在具有不同信噪比、非零模型系数分布以及模型稀疏度的相关回归问题上进行了检验。我们的结果揭示了在所考察的所有回归估计量与模型选择准则中，假阳性控制与假阴性控制之间存在根本的权衡。此外，我们得以从数值上探究一个由信噪比与设计协方差矩阵的谱性质所调控的相变点，在该点处所有被考虑算法的选择精度均发生退化。总体而言，我们发现 SCAD 结合 BIC 或经验贝叶斯模型选择在所考虑的回归问题中实现了最佳特征选择。
引用
@article{arxiv.2103.12802,
title = {Numerical Characterization of Support Recovery in Sparse Regression with Correlated Design},
author = {Ankit Kumar and Sharmodeep Bhattacharyya and Kristofer Bouchard},
journal= {arXiv preprint arXiv:2103.12802},
year = {2021}
}