隐式偏差能否带来对抗鲁棒性？

基于梯度的训练算法的隐式偏差通常被认为是有益的，因为它能使训练后的网络具有良好的泛化能力。然而，Frei等人(2023)表明这种隐式偏差可能损害对抗鲁棒性。具体来说，他们指出如果数据由簇间相关性较小的簇组成，则通过梯度流训练的浅层（两层）ReLU网络泛化良好，但对小半径的对抗攻击不鲁棒。此外，尽管存在一个可以从浅层网络显式构造的鲁棒性更强的分类器，这种现象仍然发生。在本文中，我们扩展了最近关于神经元对齐的分析，表明使用多项式ReLU激活函数(pReLU)的浅层网络通过梯度流训练不仅泛化良好，而且对对抗攻击具有鲁棒性。我们的结果强调了数据结构和架构设计之间的相互作用在训练网络的隐式偏差和鲁棒性中的重要性。