小波在对抗鲁棒性上胜过猴脑

关于提升神经网络对对抗噪声（数据中不可察觉的恶意扰动）鲁棒性的研究受到显著关注。当前无可争议的SOTA防御——获得鲁棒深度神经网络的方法是对抗训练（AT），但其相比标准训练消耗显著更多资源，并以准确率为代价换取鲁棒性。一项鼓舞人心的近期工作[Dapello et al.]旨在将神经生物学工具引入以下问题：我们如何开发如人类视觉般鲁棒泛化的神经网络？[Dapello et al.]设计了一种网络结构，其神经隐藏首层模拟灵长类初级视觉皮层（V1），后接改编自当前CNN视觉模型的后端结构。在小扰动测试下，其似乎在标准视觉基准上实现了非平凡对抗鲁棒性。本文重访这一受生物学启发的工作，并探问：受物理学启发的、原理性的无参数表示能否达成同样目标。我们发现小波散射变换可替代复杂的V1皮层，简单均匀高斯噪声可扮演神经随机性角色，从而实现对抗鲁棒性。在CIFAR-10基准上采用自适应对抗攻击的广泛实验中，我们表明：1）当对抗攻击半径强度设为常用基准时，VOneBlock架构的鲁棒性相对较弱（虽非零）；2）以现成无参数Scatternet接简单均匀高斯噪声替代前端VOneBlock，可在无对抗训练下实现更显著的对抗鲁棒性。我们的工作展示了物理启发结构如何产生此前被认为仅能通过精细模仿人脑皮层才能获得的鲁棒性新见解。