利用隐私令牌实时测量梯度泄露的隐私风险
机器学习
2025-02-13 v4 密码学与安全
摘要
深度学习模型在隐私敏感领域的广泛部署加剧了人们对隐私风险的担忧，尤其是训练过程中梯度泄露带来的风险。当前的隐私评估主要依赖于训练后的攻击模拟。然而，这些方法本质上是反应性的，无法涵盖所有潜在的攻击场景，且通常基于理想化的对抗假设。这些局限性凸显了在训练过程中进行主动隐私风险评估的必要性。为弥补这一不足，我们提出了隐私令牌的概念，它直接源自训练过程中的私有梯度。隐私令牌封装了梯度特征，当与数据特征结合时，能为训练数据的隐私信息泄露程度提供有价值的见解，从而无需依赖对抗攻击模拟即可实时测量隐私风险。此外，我们采用互信息（MI）作为稳健的度量，量化训练数据与梯度之间的关系，在整个训练过程中提供精确且连续的隐私泄露评估。大量实验验证了我们的框架，证明了隐私令牌和互信息在识别和量化隐私风险方面的有效性。这种主动方法标志着隐私监测的重大进步，促进了深度学习模型在敏感应用中的更安全部署。
引用
@article{arxiv.2502.02913,
title = {Real-Time Privacy Risk Measurement with Privacy Tokens for Gradient Leakage},
author = {Jiayang Meng and Tao Huang and Hong Chen and Xin Shi and Qingyu Huang and Chen Hou},
journal= {arXiv preprint arXiv:2502.02913},
year = {2025}
}