流式差分隐私下L2均值估计中通信-隐私权衡的改进
密码学与安全
2024-05-07 v1 机器学习
摘要
我们研究了中心差分隐私和通信约束下的L2均值估计，并解决了两个关键挑战：首先，现有的同时处理这两种约束的均值估计方案通常针对L∞几何进行优化，并依赖随机旋转或卡申表示来适应L2几何，导致均方误差中的主导常数次优；其次，实现阶次最优通信-隐私权衡的方案无法无缝扩展到流式差分隐私设置（例如，树聚合或矩阵分解），使得它们与DP-FTRL类型的优化器不兼容。在这项工作中，我们通过为稀疏化高斯机制引入一种新颖的隐私会计方法来解决这些问题，该方法将稀疏化固有的随机性纳入DP噪声中。与先前的方法不同，我们的会计算法直接在L2几何中运行，产生的MSE能快速收敛到未压缩高斯机制的MSE。此外，我们将稀疏化方案扩展到流式DP下的矩阵分解框架，并提供了一个为DP-FTRL类型优化器量身定制的精确会计器。实验表明，在各种联邦学习任务中，我们的方法在DP-SGD的压缩方面实现了至少100倍的改进。
引用
@article{arxiv.2405.02341,
title = {Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy},
author = {Wei-Ning Chen and Berivan Isik and Peter Kairouz and Albert No and Sewoong Oh and Zheng Xu},
journal= {arXiv preprint arXiv:2405.02341},
year = {2024}
}