关于惩罚极大似然估计量的分布：LASSO、SCAD 与阈值化
统计理论
2009-09-07 v2 统计方法学
机器学习
统计理论
摘要
我们研究了 LASSO、SCAD 和阈值化估计量在有限样本和大样本极限下的分布。针对估计量被调节以执行一致模型选择的情况，以及被调节以执行保守模型选择的情况，分别推导了其渐近分布。我们的发现补充了 Knight 和 Fu (2000) 以及 Fan 和 Li (2001) 的结果。我们表明，无论估计量如何调节，其分布通常都是高度非正态的，且这一性质在大样本中依然存在。我们还获得了这些估计量的一致收敛速率，并表明在估计量被调节以执行一致模型选择的情况下，该速率慢于 。此外，我们还提供了一个关于估计估计量分布函数的不可能性结果。
引用
@article{arxiv.0711.0660,
title = {On the Distribution of Penalized Maximum Likelihood Estimators: The LASSO, SCAD, and Thresholding},
author = {Benedikt M. Potscher and Hannes Leeb},
journal= {arXiv preprint arXiv:0711.0660},
year = {2009}
}