通过曲率正则化实现对抗鲁棒数据蒸馏

数据蒸馏（DD）允许数据被压缩为原大小的比例，同时保留丰富的分布信息，以便在蒸馏数据集上训练的模型可实现相当于在原始数据集上训练的准确率，同时显著节省计算资源。近期研究在该领域主要关注提高在蒸馏数据集上训练模型的准确率。本文旨在从全新的视角探讨 DD，我们研究如何在蒸馏数据集中嵌入对抗鲁棒性，以便在保持高准确率的同时获得更好的对抗鲁棒性。我们提出了一种新方法，通过将曲率正则化纳入蒸馏过程中实现上述目标，计算开销远低于标准对抗训练。广泛的实证实验表明，我们的方法在准确率和鲁棒性方面均优于标准对抗训练，计算开销更低；且能够生成能抵抗各种对抗攻击的鲁棒蒸馏数据集。我们的实现已公开：https://github.com/yumozi/GUARD。