对抗分布鲁棒性与自然分布鲁棒性之间的显式权衡

若干现有工作分别研究深度神经网络的对抗分布鲁棒性或自然分布鲁棒性。然而在实践中，模型需要同时具备两类鲁棒性以确保可靠性。本工作弥合这一鸿沟，表明事实上对抗与自然分布鲁棒性之间存在显式权衡。我们首先考虑高斯数据上含不相交核心特征与虚假特征集的简单线性回归设定。在此设定下，通过理论与实证分析，我们表明：(i) 采用 $\ell_1$ 与 $\ell_2$ 范数的对抗训练增加了模型对虚假特征的依赖；(ii) 对于 $\ell_\infty$ 对抗训练，仅当虚假特征尺度大于核心特征尺度时才出现虚假依赖；(iii) 对抗训练可能在降低分布鲁棒性方面产生非预期后果，尤其当新测试域中虚假相关性发生改变时。接下来，我们利用一个由二十个对抗训练模型在五个基准数据集（ObjectNet、RIVAL10、Salient ImageNet-1M、ImageNet-9、Waterbirds）上评估的测试套件，给出广泛实证证据，表明对抗训练分类器比标准训练对应模型更依赖背景，验证了我们的理论结果。我们还表明训练数据中的虚假相关性（当在测试域中保留时）可提升对抗鲁棒性，揭示先前将对抗脆弱性根植于虚假相关性的主张是不完整的。