扩展带矩阵分解机制以用于差分隐私机器学习
机器学习
2025-05-13 v4 密码学与安全
数据结构与算法
摘要
相关噪声机制（如差分隐私矩阵分解(DP-MF)）已被证明在大epsilon少轮训练场景中是DP-SGD的有效替代方案。已有大量工作致力于寻找最佳的相关噪声策略，当前最先进的方法是DP-BandMF，它最优地平衡了隐私放大和噪声相关性的优势。尽管具有效用优势，但严重的可扩展性限制使得该机制无法处理大规模训练场景，其中训练迭代次数可能超过，模型参数数量可能超过。本文中，我们提出了沿这两个维度扩展DP-BandMF的技术，显著扩展了其适用范围，使其能够处理几乎任意数量的模型参数和训练迭代次数，且效用退化可忽略不计。
引用
@article{arxiv.2405.15913,
title = {Scaling up the Banded Matrix Factorization Mechanism for Differentially Private ML},
author = {Ryan McKenna},
journal= {arXiv preprint arXiv:2405.15913},
year = {2025}
}