差分隐私学习的相关噪声机制
机器学习
2025-06-11 v1 密码学与安全
摘要
本专著探讨了用于差分隐私（DP）的相关噪声机制的设计与分析，重点聚焦其在通过估计加权前缀和这一核心原语，用于对 AI 和机器学习模型进行私有训练。虽然典型的 DP 机制会注入独立噪声到随机梯度（SGD）学习算法的每一步中以保护训练数据的隐私，但近年来大量研究表明，通过在后续步骤中小心地消除先前步骤中注入的某些噪声，引入（反）相关噪声可显著改善隐私-实用性权衡。当用于学习算法时，这些称为矩阵机制、因子化机制和差分隐私-跟随正则化领袖（DP-FTRL）的相关噪声机制，已在实际中发挥重要作用，并在全球范围内获得工业部署。
引用
@article{arxiv.2506.08201,
title = {Correlated Noise Mechanisms for Differentially Private Learning},
author = {Krishna Pillutla and Jalaj Upadhyay and Christopher A. Choquette-Choo and Krishnamurthy Dvijotham and Arun Ganesh and Monika Henzinger and Jonathan Katz and Ryan McKenna and H. Brendan McMahan and Keith Rush and Thomas Steinke and Abhradeep Thakurta},
journal= {arXiv preprint arXiv:2506.08201},
year = {2025}
}
备注
212 pages