重新审视逐层高斯噪声注入：连接隐式目标与隐私预算分配
机器学习
2025-10-20 v2
摘要
逐层高斯机制 (LGM) 通过向分块梯度向量注入噪声，增强了差分隐私深度学习的灵活性。然而，现有方法通常依赖启发式噪声分配策略，缺乏对噪声分配与形式化隐私-效用权衡之间联系的理论基础的严谨理解。在本文中，我们提出了一个统一的分析框架，系统地将逐层噪声注入策略与其隐式优化目标及相关隐私预算分配联系起来。我们的分析表明，几种现有方法优化了不适定目标——要么忽略了层间信噪比 (SNR) 的一致性，要么导致隐私预算的低效使用。作为回应，我们提出了一种 SNR 一致的噪声分配策略，统一了这两个方面，产生了一种能够实现更好信号保留与更高效隐私预算利用的噪声分配方案。在集中式与联邦学习环境下的广泛实验表明，我们的方法始终优于现有分配策略，实现了更好的隐私-效用权衡。我们的框架不仅为先前方法提供了诊断性见解，也为在深度模型中设计自适应且有效的噪声注入方案提供了理论指导。
引用
@article{arxiv.2509.04232,
title = {Rethinking Layer-wise Gaussian Noise Injection: Bridging Implicit Objectives and Privacy Budget Allocation},
author = {Qifeng Tan and Shusen Yang and Xuebin Ren and Yikai Zhang},
journal= {arXiv preprint arXiv:2509.04232},
year = {2025}
}
备注
Errors were found in the experimental data preprocessing, which affected the reported results and conclusions. The paper is being revised and a corrected version will be resubmitted