Huber 回归的统计学习评估

作为稳健统计学的成就与里程碑之一，Huber 回归在稳健推断与估计中发挥着重要作用，并在机器学习中发现了大量应用。在参数设定下，它已被广泛研究。然而，在通常以非参数方式学习函数的统计学习背景下，仍缺乏对 Huber 回归估计量如何学习条件均值函数以及为何在无非轻尾噪声假设时仍有效的理论理解。为解决这些基本问题，我们从统计学习视角对 Huber 回归进行评估。首先，我们表明 Huber 回归估计量通常在机器学习中所追求的风险一致性性质，无法保证其在均值回归中的可学习性。其次，我们认为 Huber 回归应以自适应方式实施以进行均值回归，这意味着需要根据样本量与噪声的矩条件来调节尺度参数。第三，通过尺度参数的自适应选择，我们证明 Huber 回归估计量在 $(1+\epsilon)$ 阶矩条件（$\epsilon>0$）下可渐近均值回归校准。最后但同样重要的是，在相同矩条件下，我们建立了 Huber 回归估计量的几乎必然收敛速率。注意，$(1+\epsilon)$ 阶矩条件包含了响应变量具有无穷方差的特殊情形，因此所建立的收敛速率证明了 Huber 回归估计量的稳健性特征。在上述意义上，本研究提供了对 Huber 回归估计量的系统性统计学习评估，并从理论视角论证了其稳健性方面的优点。