基于自适应弹性网S估计的线性回归稳健变量选择与估计
统计方法学
2024-09-20 v2 机器学习
摘要
重尾误差分布和带有异常值的预测变量在高维回归问题中十分普遍，若处理不当会严重损害统计分析的有效性。为在这些不利条件下获得更可靠的估计，我们提出一种新的稳健正则化估计量，用于同时进行变量选择和系数估计。该估计量称为自适应PENSE，无需残差尺度的先验知识，也无需对误差分布施加任何矩条件，即具有 oracle 性质。所提估计量即使在极重尾误差分布以及预测变量或残差中存在异常污染的情况下也能给出可靠结果。重要的是，即便在这些具有挑战性的设定下，自适应PENSE的变量选择依然保持稳定。在模拟和真实数据集上的数值研究结果表明，在污染样本情形下，其有限样本性能优于其他稳健正则化估计量；在干净样本情形下，与经典正则化估计量相比也具有竞争力。
引用
@article{arxiv.2107.03325,
title = {Robust Variable Selection and Estimation Via Adaptive Elastic Net S-Estimators for Linear Regression},
author = {David Kepplinger},
journal= {arXiv preprint arXiv:2107.03325},
year = {2024}
}