攻击二值化神经网络

具有低精度权重和激活值的神经网络相比全精度对应网络具有显著的效率优势。量化最常被讨论的两个好处是减少内存消耗，以及在使用高效按位运算实现时更快的前向传播。我们提出极低精度神经网络的第三个好处：对某些对抗攻击的鲁棒性增强，且在最坏情况下性能与全精度模型相当。我们聚焦于权重和激活值均量化为 $\pm$1 的极低精度情况，并指出仅对一层进行随机量化可大幅降低迭代攻击的影响。我们观察到，未缩放的二值神经网络表现出与导致梯度掩蔽及虚假安全感的原始防御性蒸馏过程类似的效果。为此，我们使用不会人为掩蔽梯度的二值模型进行了黑盒与白盒实验来解决该问题。