加权神经表征的隐式正则化路径

我们研究了对预训练特征进行（观察）加权所诱导的隐式正则化效应。对于算子范数有限且相对于（归一化）迹函数微小自由的权重和特征矩阵，我们推导了连接不同加权矩阵和岭正则化水平的等价路径。具体而言，我们表明，在对加权特征训练的岭估计器沿同一路径上，对算子范数有限的测试向量评估时， asymptotically 等价。这些路径可解释为匹配加权特征拟合的岭估计器的有效自由度。对于不替换抽样的特殊情况，我们的结果适用于独立抽样的随机特征和核特征，确认了作者在 Patil 等人中关于此类路径存在性的近期猜测（Conjectures 7 和 8）。我们还提出了加权估计器集合的additive风险分解，表明当集合规模趋于无穷大时，风险在路径上等价。作为该路径等价性的实际后果，我们开发了一种高效交叉验证方法，用于在多个模型（例如 ResNet-50）和数据集（例如 CIFAR-100）上的抽样预训练表征进行调参。