通过缩放桥接软阈值与硬阈值

在本文中，我们提出并分析了一种阈值方法，其中软阈值估计量由经验缩放值独立扩展。这些缩放值具有一个公共超参数，该参数是实现硬阈值的理想缩放值的扩展阶数。我们简单地将此估计量称为缩放软阈值估计量。缩放软阈值是包含软阈值和非负garrote作为特例的一般方法，并给出了自适应 LASSO 的另一种推导。然后我们通过 Stein 无偏风险估计推导了缩放软阈值的自由度，发现它可分解为软阈值的自由度以及与硬阈值相连的余项。在此意义上，缩放软阈值为软阈值与硬阈值方法之间提供了自然的桥梁。由于自由度代表过拟合程度，该结果表明缩放软阈值中存在两个过拟合来源。源自软阈值的第一来源由未移除系数的数量决定，是过拟合程度的自然度量。我们通过参考硬阈值的已知结果，分析了缩放软阈值在特定情形下的第二来源。我们发现，在稀疏、大样本和非参数设定下，第二来源很大程度上由真实值为零的系数估计决定，并在这些系数估计的阈值水平接近噪声水平时对过拟合产生影响。在一个简单数值例子中，这些理论含义很好地解释了自由度的行为。此外，基于本文结果和一些已知事实，我们解释了软、硬及缩放软阈值方法的风险行为。