压缩性与对抗鲁棒性的相互作用

现代神经网络被期望能够同时满足一系列可取属性：对训练数据的精确拟合、对未见输入的泛化、参数与计算效率以及对对抗扰动的鲁棒性。虽然压缩性和鲁棒性各自已被广泛研究，但对其相互作用的统一理解仍然尚未明了。在本工作中，我们发展了一个原则性框架来分析不同形式的压缩性——例如神经元级稀疏性和谱压缩——如何影响对抗鲁棒性。我们表明，这些压缩形式会诱导少数高度敏感的方向，这些方向对手段可被利用以构建有效扰动。我们的分析导致了一个简洁而有启发性的鲁棒性界限，揭示了神经元和谱压缩如何通过其对所学表示的影响来影响 $L_\infty$ 和 $L_2$ 鲁棒性。关键的是，我们所识别的脆弱性不依赖于压缩是如何实现的——无论是通过正则化、架构偏置还是隐式学习动力学。通过对合成和现实任务的实证评估，我们确认了我们的理论预测，并进一步表明这些脆弱性在对抗训练和迁移学习下仍然存在，并导致普遍对抗扰动的出现。我们的发现显示结构化压缩性与鲁棒性之间存在根本性张力，并为设计既高效又安全的模型提供了新思路。