NVM交叉阵列上对抗训练网络的噪声稳定性与鲁棒性研究

基于深度神经网络（DNN）的应用在过去十年中呈指数级增长。为满足其日益增长的计算需求，已有若干基于非易失性存储器（NVM）交叉阵列的加速器被提出。最近，研究人员表明，除提升能效与性能外，此类近似硬件还具备抵御对抗攻击的内在鲁棒性。先前工作在未经扰动输入上训练的普通DNN上量化了此种内在鲁棒性。然而，DNN的对抗训练是鲁棒性的基准技术，仅依赖硬件的内在鲁棒性可能并不充分。本工作中，我们通过对抗训练与基于NVM交叉阵列的模拟硬件之内在鲁棒性相融合，探索鲁棒DNN的设计。首先，我们研究了此类网络在未经扰动输入上的噪声稳定性，观察到对抗训练网络的内部激活具有较低信噪比（SNR），且相比普通网络对噪声更敏感。因此，由于模拟硬件上的近似计算，其平均遭受2倍性能退化。噪声稳定性分析显示了对抗训练DNN的不稳定性。另一方面，对于使用Square黑盒攻击生成的对抗图像，在CIFAR-10/100上对抗训练的ResNet-10/20展现出20-30%的鲁棒性增益。对于使用投影梯度下降（PGD）白盒攻击生成的对抗图像，当$\epsilon_{attack}$大于$\epsilon_{train}$时，由于底层NVM交叉阵列，对抗训练的DNN在鲁棒精度上呈现5-10%的增益。我们的结果表明，在模拟硬件上实现对抗训练网络需要谨慎校准硬件非理想性与$\epsilon_{train}$，以获得最优鲁棒性与性能。