回归中惩罚经验风险最小化器的聚合

我们给出了回归模型中惩罚经验风险最小化器收敛速度的一般性结果。然后，我们考虑回归的不可知学习问题，并在此背景下给出了有限类上PERM的Oracle不等式和下界。这些结果适用于一般的多元随机设计，唯一假设是其分布的支撑集是紧致的（例如，允许离散分布）。然后，利用这些结果，我们构建了自适应估计器。我们以各向异性Besov空间或再生核希尔伯特空间上的自适应估计为例。最后，我们提供了经验证据，表明当观测数量较少时，对于平滑参数的选择，聚合方法比更标准的交叉验证或广义交叉验证方法能产生更稳定的估计器。