指数Lasso：基于指数型损失函数的稳健稀疏惩罚以应对重尾噪声和离群点
机器学习
2025-11-20 v1 机器学习
统计方法学
摘要
在高维统计学中，Lasso是一种用于同时变量选择和参数估计的核心方法。然而，其依赖平方损失函数对离群点和重尾噪声极其敏感，可能导致模型选择不可靠且估计偏大。为解决这一局限性，我们引入指数Lasso，这是一种新型稳健方法，将指数型损失函数集成到Lasso框架中。该损失函数旨在实现在高斯噪声下的统计效率与对数据污染的稳健性之间的平滑权衡。与其他抑制大残差影响的方法不同，指数损失平滑地递减，有效降低极端离群点的影响，同时保持对小误差的近二次行为。我们建立了理论保证，表明指数Lasso实现强统计收敛率，在理想条件下匹配经典Lasso，同时在重尾污染下保持稳健性。计算上，估计器通过Majorization-Minimization（MM）算法高效实现，该算法迭代求解一系列加权Lasso子问题。数值实验表明，所提方法在受污染情形下表现极具竞争力，优于经典Lasso，并且在高斯噪声下仍保持强性能。我们的 метод在R语言软件包\texttt{heavylasso}中实现，已发布于Github: https://github.com/tienmt/heavylasso
引用
@article{arxiv.2511.15332,
title = {Exponential Lasso: robust sparse penalization under heavy-tailed noise and outliers with exponential-type loss},
author = {The Tien Mai},
journal= {arXiv preprint arXiv:2511.15332},
year = {2025}
}