隐藏状态威胁模型下DP-SGD的更紧隐私审计
机器学习
2025-05-30 v3 密码学与安全
摘要
机器学习模型可以通过差分隐私优化器（如DP-SGD）以形式化的隐私保证进行训练。在这项工作中，我们关注一个威胁模型，其中对手只能访问最终模型，无法看到中间更新。在文献中，这种隐藏状态威胁模型在经验隐私审计的下界和隐私会计提供的理论上界之间表现出显著差距。为了挑战这一差距，我们提出通过对手精心设计梯度序列来审计该威胁模型，该序列旨在最大化最终模型的隐私损失，而不依赖中间更新。我们的实验表明，这种方法始终优于先前审计隐藏状态模型的尝试。此外，我们的结果推进了对该威胁模型内可实现的隐私保证的理解。具体来说，当精心设计的梯度在每个优化步骤中插入时，我们表明隐藏DP-SGD中的中间模型更新并不会增强隐私保证。当精心设计的梯度不是每一步都插入时，情况更为复杂：我们的审计下界仅针对对手选择的损失景观和足够大的批次大小与隐私上界匹配。这表明现有的隐私上界在某些情况下可以改进。
引用
@article{arxiv.2405.14457,
title = {Tighter Privacy Auditing of DP-SGD in the Hidden State Threat Model},
author = {Tudor Cebere and Aurélien Bellet and Nicolas Papernot},
journal= {arXiv preprint arXiv:2405.14457},
year = {2025}
}