协变量偏移下的最小范数插值

迁移学习是现实世界机器学习部署的关键组成部分，并在过参数化神经网络的实验研究中得到了广泛研究。然而，即使在线性回归的最简单设定中，对迁移学习的理论理解仍存在显著差距。对高维线性回归的分布内研究导致了一种被称为“良性过拟合”现象的发现，在该现象中线性插值器对噪声训练标签过拟合，但仍然具有良好的泛化能力。这种行为发生在源协方差矩阵和输入数据维度的特定条件下。因此，自然会产生疑问：此类高维线性模型在迁移学习下表现如何。我们证明了迁移学习设定下良性过拟合线性插值器的首个非渐近超额风险界限。基于我们的分析，我们根据过参数化程度提出了一种“有益”和“恶性”协变量偏移的分类。我们随后进行了实证研究，在真实图像数据上展示了线性插值器的这些有益和恶性协变量偏移，并在输入数据维度大于训练样本大小的设定下展示了全连接神经网络的情况。