在线局部私有学习的 SGD：非渐近分析
统计方法学
2025-07-10 v1 机器学习
机器学习
摘要
差分隐私随机梯度下降 (DP-SGD) 已被广泛用于在机器学习和统计学中求解具有隐私保障的优化问题。尽管如此，针对 DP-SGD 的系统性非渐近收敛分析，尤其是在在线问题和局部差分隐私 (LDP) 模型中，仍然鲜有涉及。现有的非渐近分析集中在非私有优化方法上，因而不适用于隐私保护优化问题。本工作致力于填补这一鸿沟，为私有优化问题的非渐近收敛分析铺开了道路。我们研究了针对在线 LDP 模型中随机优化问题的通用框架。我们假设对个体的敏感信息按顺序收集，并旨在实时估计与感兴趣人群相关的静态参数。最重要的是，我们对提议估计器在有限样本情况下的综合非渐近收敛分析，为用户提供了关于各种超参数——如步长、参数维度和隐私预算——对收敛率的实际指导。我们提议的估计器通过严谨的数学推导和精心构建的数值实验，在理论与实践领域均得到验证。
引用
@article{arxiv.2507.07041,
title = {Non-Asymptotic Analysis of Online Local Private Learning with SGD},
author = {Enze Shi and Jinhan Xie and Bei Jiang and Linglong Kong and Xuming He},
journal= {arXiv preprint arXiv:2507.07041},
year = {2025}
}