LazyDP：面向差分隐私推荐模型可扩展训练的算法-软件协同设计
信息检索
2024-04-16 v1 密码学与安全
机器学习
摘要
差分隐私（DP）作为一种实用的隐私保护标准，在工业界被广泛采用。虽然计算机视觉或自然语言处理应用的隐私训练已被广泛研究，但使用 DP 训练推荐系统（RecSys）的计算挑战尚未被探索。在这项工作中，我们首先详细描述了使用 DP-SGD 进行私有推荐系统训练的特征，并找出了其若干性能瓶颈。具体来说，我们发现 DP-SGD 的噪声采样和带噪梯度更新阶段分别受到严重的计算和内存带宽限制，导致训练私有推荐系统时产生显著的性能开销。基于这些发现，我们提出了 LazyDP，这是一种算法-软件协同设计，旨在解决使用 DP-SGD 训练推荐系统所面临的计算和内存挑战。与最先进的 DP-SGD 训练系统相比，我们证明 LazyDP 平均提供了 119 倍的训练吞吐量提升，同时确保训练出数学上等效的差分隐私推荐系统模型。
引用
@article{arxiv.2404.08847,
title = {LazyDP: Co-Designing Algorithm-Software for Scalable Training of Differentially Private Recommendation Models},
author = {Juntaek Lim and Youngeun Kwon and Ranggi Hwang and Kiwan Maeng and G. Edward Suh and Minsoo Rhu},
journal= {arXiv preprint arXiv:2404.08847},
year = {2024}
}