太好的东西未必真实？用 DP-Weights 实现任意模型的差分隐私

想象进行差分隐私随机梯度下降（DP-SGD）训练机器学习模型，仅在训练后发现噪声水平要么过高，严重损害模型实用性，要么过低，导致隐私性受损。令人窒息的恍惚感袭来：必须从头开始进行漫长的训练过程。但如果可以避免这一重新训练的噩梦呢？本研究引入一种开创性方法（据我们所知），将差分隐私噪声应用于训练后的模型权重。我们提供了该新方法隐私界限的完整数学证明，使用形式化方法验证其隐私保证，并通过成员推断攻击和性能评估进行实证评估。该方法实现了单次训练后灵活调整噪声，以获得最佳隐私-实用性权衡。我们将新开发的微调模型（DP-Weights 模型）与传统 DP-SGD 模型进行比较，结果表明该方法在性能和隐私保证方面与传统方法 statistically 相似。我们的实验结果验证了训练后噪声添加的有效性，为实际场景中部署差分隐私模型提供了显著的时间节省和灵活性，使其成为一种实用的替代方案。