基于梯度训练的差分隐私预测认证
机器学习
2025-06-09 v3 人工智能
摘要
我们研究的是通过向非私有模型的输出添加噪声来实现差分隐私的私有预测问题。现有方法依赖于模型全局灵敏度比例的噪声,通常导致隐私-实用性权衡 suboptimal。我们引入了一种新方法,通过利用凸松弛和界传播技术来计算数据特定的预测灵敏度上界。通过将这些界与平滑灵敏度机制结合,我们显著改进了相对于基于全局灵敏度的方法的私有预测分析。在医学图像分类和自然语言处理等真实数据集上的实验结果表明,我们的灵敏度界可以比全局灵敏度高出多个数量级。我们的ethods 为开发新型隐私保护技术提供了强有力的基础。
引用
@article{arxiv.2406.13433,
title = {Certification for Differentially Private Prediction in Gradient-Based Training},
author = {Matthew Wicker and Philip Sosnin and Igor Shilov and Adrianna Janik and Mark N. Müller and Yves-Alexandre de Montjoye and Adrian Weller and Calvin Tsay},
journal= {arXiv preprint arXiv:2406.13433},
year = {2025}
}
备注
ICML 2025. 20 pages, 9 figures