超高维线性回归模型中的稳健自适应变量选择
统计方法学
2023-09-22 v3 统计理论
统计理论
摘要
我们考虑在超高维线性回归模型中同时进行变量选择及相应回归系数估计的问题，这是近年来极为重要的问题。为此使用自适应惩罚函数以达成 oracle 变量选择性质并减轻计算负担。然而，基于平方误差损失函数的通常自适应过程（如自适应 LASSO）在存在数据污染时极不稳健，而数据污染在大规模数据（如含噪基因表达数据、光谱与谱数据）中十分常见。本文中，我们提出一种针对超高维数据的正则化过程，使用基于广泛应用的密度幂散度 (DPD) 度量的稳健损失函数并结合自适应 LASSO 惩罚。我们从理论上研究了所提自适应稳健估计器对一般误差分布类的稳健性与大样本性质；特别地，我们证明所提自适应 DPD-LASSO 估计器高度稳健，满足 oracle 变量选择性质，且在易验证的假设下回归系数估计量一致且渐近正态。对最常用的正态误差密度给出了数值说明。最后，将该提议应用于分析化学计量学领域中关于 16 和 17 世纪考古玻璃容器的电子探针 X 射线微分析 (EPXMA) 的有趣光谱数据集。
引用
@article{arxiv.2004.05470,
title = {Robust adaptive variable selection in ultra-high dimensional linear regression models},
author = {Abhik Ghosh and Maria Jaenada and Leandro Pardo},
journal= {arXiv preprint arXiv:2004.05470},
year = {2023}
}
备注
To appear in Journal of Statistical Computation and Simulation