过参数化回归与对抗扰动的几何

经典回归在几何上可简单描述为将训练标签投影到设计矩阵列空间上。然而，对于过参数化模型——即拟合参数数量足够大以完美拟合训练数据——这一图像变得无信息量。此处，我们提出一种适用于欠参数化和过参数化模型的回归的替代几何解释。与发生在训练标签空间中的经典图像不同，我们的新图像位于输入特征空间中。这种新的基于特征的角度为偏差与方差背景下的双下降现象提供了自然的几何解释，说明了即便在没有标签噪声时它也可能发生。此外，我们表明对抗扰动——即导致标签值大幅变化的输入特征的微小扰动——是有偏模型的固有特征，源于底层几何。我们通过分析过参数化线性最小二乘回归的三个最小模型来展示这些思想：无基函数（输入特征等于模型特征）以及具有线性或非线性基函数（分别为具有线性或非线性激活函数的两层神经网络）。