基于 Rényi 伪距离的高维稀疏线性回归模型正则化方法
统计理论
2020-08-03 v1 统计理论
摘要
过去十年中，针对高维稀疏线性回归模型已考虑多种正则化方法，但最常见的方法使用最小二乘（二次）或似然损失，因而对数据污染不具鲁棒性。一些作者通过采用基于散度度量（如密度幂散度、gamma 散度等）的合适损失函数替代二次损失，克服了非鲁棒性问题。本文中，我们考虑一种基于 Rényi 伪距离与非凹惩罚的损失函数，以在非多项式维数的高维线性回归模型中同时执行变量选择并获得参数的鲁棒估计量。我们理论上推导了所提方法的期望 oracle 性质，并通过模拟与真实数据示例数值说明了其实用性。
引用
@article{arxiv.2007.15929,
title = {On regularization methods based on R\'enyi's pseudodistances for sparse high-dimensional linear regression models},
author = {Elena Castilla and Abhik Ghosh and María Jaenada and Leandro Pardo},
journal= {arXiv preprint arXiv:2007.15929},
year = {2020}
}
备注
The main paper has 36 pages, and a supplementary material is added with proofs, additional results and R code