差分隐私随机梯度下降的块自举不确定性量化
机器学习
2024-05-22 v1 密码学与安全
机器学习
统计理论
统计计算
统计理论
摘要
随机梯度下降 (SGD) 是机器学习中广泛使用的工具。在差分隐私 (DP) 的背景下，SGD 近年来得到了充分研究，其重点主要在于收敛速率和隐私保证。虽然在非隐私情况下，多位作者已经通过自举方法解决了 SGD 的不确定性量化 (UQ) 问题，但由于需要对私有数据进行多次查询，这些过程无法直接转移到差分隐私中。在本文中，我们提出了一种用于局部差分隐私下 SGD 的新型块自举方法，该方法在计算上是易于处理的，且不需要调整隐私预算。该方法易于实现，并适用于广泛的估计问题类别。我们证明了该方法的有效性，并通过模拟研究展示了其有限样本性质。作为副产品，这种新方法也为非隐私 SGD 的 UQ 提供了一种简单的替代数值工具。
引用
@article{arxiv.2405.12553,
title = {Uncertainty quantification by block bootstrap for differentially private stochastic gradient descent},
author = {Holger Dette and Carina Graw},
journal= {arXiv preprint arXiv:2405.12553},
year = {2024}
}