RQP-SGD：通过噪声 SGD 和随机量化实现差分隐私机器学习
机器学习
2024-02-12 v1 人工智能
密码学与安全
摘要
物联网设备的兴起促使人们对在边缘部署具备实时、高效和安全数据处理能力的机器学习产生了需求。在此背景下，使用实值权重参数实现机器学习 (ML) 模型可能并不切实际，特别是对于大型模型而言，因此需要使用量化离散权重来训练模型。同时，这些低维模型还需要保护底层数据集的隐私。在本工作中，我们提出了 RQP-SGD，这是一种用于隐私保护量化的新方法，旨在为低内存的边缘机器学习训练模型。该方法将差分隐私随机梯度下降 (DP-SGD) 与随机量化相结合，为机器学习提供了可度量的隐私保证。具体而言，我们研究了在具有凸目标函数和量化约束的 ML 任务中实施 RQP-SGD 的效用收敛性，并证明了其优于确定性量化。通过对两个数据集进行的实验，我们展示了 RQP-SGD 的实际有效性。
引用
@article{arxiv.2402.06606,
title = {RQP-SGD: Differential Private Machine Learning through Noisy SGD and Randomized Quantization},
author = {Ce Feng and Parv Venkitasubramaniam},
journal= {arXiv preprint arXiv:2402.06606},
year = {2024}
}
备注
This work is accepted by the 5th AAAI Workshop on Privacy-Preserving Artificial Intelligence