通过表示相似性视角理解鲁棒学习

表示学习，即为下游应用生成有用表示，是一项基础性的任务，它支撑了深度神经网络（DNNs）的诸多成功。近来，对对抗样本的鲁棒性已成为 DNNs 的一种期望属性，催生了考虑对抗样本的鲁棒训练方法的发展。在本文中，我们旨在理解鲁棒训练学到的表示性质与标准非鲁棒训练所得表示有何不同。这对于诊断鲁棒网络中许多显著的缺陷至关重要，例如良性输入上的性能退化、鲁棒性的泛化能力差以及过拟合加剧。我们利用一组称为表示相似性度量的强大工具，在三个视觉数据集上，对具有不同训练过程、架构参数和对抗约束的鲁棒与非鲁棒 DNNs 进行逐层比较。我们的实验突出了迄今未见的鲁棒表示性质，我们认为这些性质构成了鲁棒网络行为差异的基础。我们发现鲁棒网络表示缺乏专门化，且“块结构”消失。我们还发现鲁棒训练中的过拟合主要影响到较深层。这些发现与其他结果一起，为设计和训练更好的鲁棒网络指明了前进方向。