差分隐私优化器能够学习对抗鲁棒模型

机器学习模型已在多种领域大放异彩，并日益受到安全与隐私两个领域的关注。一个重要且令人担忧的问题是：在差分隐私（DP）约束下训练模型是否会对其对抗鲁棒性产生不利影响？尽管先前工作假定隐私会以鲁棒性下降为代价，我们给出了首个理论分析表明 DP 模型确实可以既鲁棒又准确，有时甚至比自然训练的非隐私对应模型更鲁棒。我们观察到影响隐私—鲁棒性—准确性权衡的三个关键因素：（1）DP 优化器的超参数至关重要；（2）在公开数据上预训练显著缓解了准确率和鲁棒性的下降；（3）DP 优化器的选择会造成差异。在合理设置这些因素后，我们在 CIFAR10 上以 ε=2 实现了 90% 自然准确率、72% 鲁棒准确率（比非隐私模型高 9%）于 l_2(0.5) 攻击下，以及 69% 鲁棒准确率（比非隐私模型高 16%）使用预训练 SimCLRv2 模型于 l_∞(4/255) 攻击下。事实上，我们从理论和经验上均表明 DP 模型在准确率—鲁棒性权衡上是帕累托最优的。经验上，DP 模型的鲁棒性在各种数据集和模型中均一致观察到。我们相信这一令人鼓舞的结果朝着训练兼具隐私与鲁棒性的模型迈出了重要一步。