更宽的神经网络真的有助于对抗鲁棒性吗?

对抗训练是针对对抗样本的一类强有力防御。先前的实证结果表明,对抗训练需要更宽的网络以获得更好性能。然而,神经网络宽度如何影响模型鲁棒性仍不清楚。本文仔细考察了网络宽度与模型鲁棒性之间的关系。具体而言,我们表明模型鲁棒性与自然精度和对抗扰动稳定性之间的权衡密切相关,该权衡由鲁棒正则化参数 $\lambda$ 控制。在相同的 $\lambda$ 下,更宽的网络能取得更好的自然精度但更差的扰动稳定性,从而导致潜在更差的整体模型鲁棒性。为理解该现象的起源,我们进一步将扰动稳定性与网络的局部 Lipschitz 性质相关联。借助近期关于神经正切核(neural tangent kernels)的结果,我们从理论上证明更宽的网络往往具有更差的扰动稳定性。我们的分析表明:1) 先在小型网络上微调 $\lambda$ 再直接用于宽模型训练的常用策略可能导致模型鲁棒性退化;2) 需适当增大 $\lambda$ 以充分释放更宽模型的鲁棒性潜力。最后,我们提出一种新的宽度调整正则化(Width Adjusted Regularization, WAR)方法,可自适应地在宽模型上增大 $\lambda$ 并显著节省调参时间。