过参数化线性模型中的分类与对抗样本：一种信号处理视角

最先进的深度学习分类器相对于训练样本数量高度过参数化，并被观察到在“干净”数据上泛化良好，但对无穷小的对抗扰动高度敏感。在本文中，我们确定了一个使用“提升”傅里叶特征映射的过参数化线性集成模型，它同时展现了这两种行为。输入为一维， adversary仅被允许扰动这些输入而不能直接扰动非线性特征。我们发现，学习到的模型在分类泛化但回归不泛化的中间机制下易受对抗攻击。值得注意的是，尽管不存在模型误设定或标签噪声（这通常被引为对抗敏感的原因），敏感性依然出现。这些结果在理论上推广到一个展现双下降行为的随机傅里叶和设置。在两种特征设置中，对抗脆弱性源于我们称之为空间局部化的现象：学习模型预测在训练点邻近区域比在其他地方明显更敏感。这种敏感性是特征提升的结果，并令人联想到信号处理与泛函分析中的Gibbs与Runge现象。尽管存在对抗敏感性，我们发现使用这些特征进行分类比更常被研究的“独立特征”模型更容易。