三个臭皮匠顶个诸葛亮：鲁棒学习遇见多分支模型

深度神经网络（DNNs）易受对抗样本攻击，其中 DNNs 因输入含有难以察觉的扰动而被误导至错误输出。对抗训练作为一种可靠有效的防御方法，可显著降低神经网络的脆弱性，并成为鲁棒学习的事实标准。尽管近期许多工作践行以数据为中心的理念，例如如何生成更好的对抗样本或使用生成模型产生额外训练数据，我们回视模型本身，并从深度特征分布的角度重新审视对抗鲁棒性，以此作为有益的补充。本文中，我们提出 \textit{分支正交对抗训练}（BORT），仅使用原始数据集进行对抗训练即取得最先进性能。为践行我们整合多个正交解空间的设计理念，我们利用简单的多分支神经网络并提出相应的损失函数——分支正交损失，以使多分支模型的每个解空间相互正交。我们在 CIFAR-10、CIFAR-100 和 SVHN 上分别针对尺寸 $\epsilon = 8/255$ 的 $\ell_{\infty}$ 范数有界扰动评估了我们的方法。大量实验表明，我们的方法无需任何技巧便超越所有最先进方法。相较于所有不使用额外数据训练的方法，我们的模型在 CIFAR-10 和 CIFAR-100 上分别达到 67.3% 和 41.5% 的鲁棒准确率（较最先进水平提升 +7.23% 和 +9.07%）。