DPAdapter：通过噪声容忍预训练提升差分隐私深度学习性能

近期发展凸显了\textit{差分隐私} (DP) 在保护机器学习模型训练数据中的关键作用。然而，由于训练过程中引入的扰动，集成 DP 往往会导致模型性能显著下降，这构成了{差分隐私机器学习} (DPML) 领域的一大严峻挑战。为此，人们提出了多种缓解措施，通常围绕制定新的 DPML 算法或放宽 DP 定义以适应不同场景。尽管有这些举措，DP 对模型（尤其是大规模模型）造成的性能削弱仍然显著，因此需要一种创新的解决方案来有效规避由此产生的模型效用损害。对此，我们介绍了 DPAdapter，这是一种旨在通过增强参数鲁棒性来提升 DPML 算法模型性能的创新技术。该策略的基本直觉是，具有鲁棒参数的模型天生更能抵抗 DP 引入的噪声，从而在存在扰动的情况下保持更好的性能。DPAdapter 修改并增强了锐度感知最小化 (SAM) 技术，利用双批次策略提供更准确的扰动估计和高效的梯度下降，从而提高参数对噪声的鲁棒性。值得注意的是，DPAdapter 可作为即插即用组件，与现有的 DPML 算法结合以进一步提升其性能。实验表明，DPAdapter 大幅提升了最先进的 DPML 算法，在隐私预算 $\epsilon=4$ 下，将平均准确率从 72.92\% 提高到了 77.09\%。