DiSK：基于简化卡尔曼滤波的差分隐私优化器
机器学习
2025-04-30 v2 密码学与安全
机器学习
摘要
差分隐私(DP)提供了一种保障个体数据隐私的稳健框架。为在训练现代机器学习模型时利用DP，差分隐私优化器近年来被广泛采用。流行的隐私化方法是对 individual 梯度进行裁剪并添加足够大的噪声。这种方法导致开发出的DP优化器在微调任务或参数数量较少的任务中，能够与其非私有版本相当。然而，当这些优化器应用于大规模训练时，会观察到显著的性能下降。这种降级源于维持DP所需的大量噪声注入，破坏了优化器的动力学。本文引入DiSK，旨在显著提升DP优化器的性能。DiSK采用卡尔曼滤波技术，这一技术来自控制与信号处理，以有效去噪隐私化梯度并生成逐步精炼的梯度估计。为确保大规模训练的实用性，我们简化了卡尔曼滤波过程，最小化其内存和计算需求。我们为DiSK建立了理论上的隐私-效用权衡保证，并在迭代复杂度上证明其在标准DP优化器(如DPSGD)之上具有可证明的改进。在包括CIFAR-100和ImageNet-1k等视觉任务以及GLUE、E2E和DART等语言微调任务的广泛实验中，验证了DiSK的有效性。结果表明，它能够显著提升DP优化器的性能，在多个基准测试中在相同隐私约束下超越了最先进的成果。
引用
@article{arxiv.2410.03883,
title = {DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction},
author = {Xinwei Zhang and Zhiqi Bu and Borja Balle and Mingyi Hong and Meisam Razaviyayn and Vahab Mirrokni},
journal= {arXiv preprint arXiv:2410.03883},
year = {2025}
}