面向 DP-SGD 的球盒抽样
机器学习
2025-04-02 v2 密码学与安全
数据结构与算法
机器学习
摘要
我们引入球盒抽样（Balls-and-Bins sampling）用于差分隐私（DP）优化方法，如 DP-SGD。虽然 DP-SGD 实现中常见某种形式的洗牌，但隐私计算法通常假设使用 Poisson 抽样。Chua 等人（ICML 2024）的最新工作指出，实际参数 regime 下基于洗牌的 DP-SGD 可能具有更大的隐私成本。在本工作中，我们表明球盒抽样实现了“最佳兼具”抽样器，即球盒抽样的实现方式类似于洗牌，而使用球盒抽样训练的模型在相同噪声比例下，获得的实用性相当于使用洗牌训练的模型，但与 Poisson 抽样相比，球盒抽样在实际参数 regime 下享有类似或更好的隐私放大效应。
引用
@article{arxiv.2412.16802,
title = {Balls-and-Bins Sampling for DP-SGD},
author = {Lynn Chua and Badih Ghazi and Charlie Harrison and Ethan Leeman and Pritish Kamath and Ravi Kumar and Pasin Manurangsi and Amer Sinha and Chiyuan Zhang},
journal= {arXiv preprint arXiv:2412.16802},
year = {2025}
}
备注
Conference Proceedings version for AISTATS 2025