论稀疏连接、对抗鲁棒性及一种新的人工神经元模型

深度神经网络在几乎所有感知基准上都达到了人类水平的准确率。有趣的是，这些进展是使用两个已有数十年历史的思想实现的：(a) 基于线性求和器的人工神经元与 (b) SGD 训练。然而，除准确率外还有重要指标：计算效率与对抗扰动的稳定性。本文提出两种紧密关联的方法以在轮廓识别任务上改进这些指标：(a) 一种新的人工神经元模型，即“强神经元”，具有低硬件需求及对抗对抗扰动的内在鲁棒性；(b) 一种新构造式训练算法，可生成每神经元具有 $O(1)$ 连接的稀疏网络。我们通过在 SVHN 与 GTSRB 基准上的实验证明了方法的可行性。我们实现了令人印象深刻的运算次数减少 10x-100x（与其他稀疏化方法相比为 10x，与稠密网络相比为 100x），并在无模型准确率下降的情况下大幅降低了硬件需求（使用了 8 位定点数学）。仅依靠强神经元自身的鲁棒性，在未采用任何反对抗措施的情况下实现了优于对抗训练的对抗扰动稳定性。我们还证明了强神经元的组成模块是具有完美对抗攻击稳定性的唯一激活函数。