随机梯度下降中的在线差分隐推断
统计方法学
2025-06-11 v2
摘要
我们提出了一个无需信任数据策展人即可实现的面向实时环境的基于优化的隐私保护框架。具体而言，我们引入了一个在局部差分隐私约束下进行在线统计推断的带噪声随机梯度下降算法。与现有方法不同，本文算法的方案既不忽视隐私保护，也不要求对整个数据集进行完全访问，从而为 individual-level 数据提供严格的局部隐私保证。该算法作为单遍算法，无需重新访问历史数据，从而显著降低了时间和空间复杂度。我们还通过构建两种有效的私有置信区间，实现了在线私有统计推断。我们正式建立了所提估计器的收敛速率，并证明这些估计器的平均解路径在弱收敛于重新缩放的布朗运动，这为我们的在线推断工具提供了理论基础。数值仿真实验表明，我们的方法在有限样本下的表现优异，凸显了其有效性和可靠性。此外，我们通过对 ride-sharing 数据和美国保险数据进行分析，展示了该方法的实际应用价值。
引用
@article{arxiv.2505.08227,
title = {Online differentially private inference in stochastic gradient descent},
author = {Jinhan Xie and Enze Shi and Bei Jiang and Linglong Kong and Xuming He},
journal= {arXiv preprint arXiv:2505.08227},
year = {2025}
}