基于个案权重调整解路径的Lasso中个案影响评估

我们使用Cook距离研究Lasso回归中的个案影响，该距离衡量删除一个观测值时拟合值的总体变化。与普通最小二乘回归不同，由于$\ell_1$惩罚的不可微性，Lasso中的估计系数没有闭式解，Cook距离也没有。为了在不重新拟合模型的情况下找到删除个案后的Lasso解，我们从全数据解出发，引入一个从1到0变化的权重参数，并生成一个由该参数索引的解路径。我们证明，在固定惩罚下，该解路径关于权重参数的简单函数是分段线性的。由此产生的个案影响是惩罚和权重的函数，当权重为0时，它变为Cook距离。随着惩罚参数的变化，所选变量也会变化，同一数据点的Cook距离大小可能随所选变量子集而变化。此外，我们引入了一个个案影响图，以可视化每个数据点的贡献如何随惩罚参数变化。从该图中，我们可以识别不同惩罚水平下的影响点，并据此做出建模决策。此外，我们发现个案影响图在欠拟合和过拟合阶段表现出不同的模式，这可以为模型选择提供额外信息。