FIBER：一种带滤波器感知创新偏差校正的差分隐私优化器
机器学习
2026-05-06 v1
摘要
差分隐私 (DP) 训练通过向梯度添加噪声来保护单个样本，但注入的噪声与自适应优化器之间存在非平凡的相互作用。最近的 DP 方法通过时序滤波privatized梯度来降低方差；然而，滤波也会改变DP噪声统计量，这些统计量被AdamW的二阶累积器所见。因此，对未滤波DP噪声（例如减去sigma_w平方）所做的偏差校正，当滤波存在时可能失准。我们提出FiBeR，一个为时序滤波privatized梯度设计的DP优化器。FiBeR (i) 通过滤波残差流并对其进行积分以形成滤波梯度估计，实现创新空间中的去噪；(ii) 将两点观测几何与创新增益分离，以实现独立调谐；(iii) 引入滤波器感知的二阶矩校准，该校准减去衰减DP噪声贡献 ，其中 对于创新滤波器可闭式求解，可应用于通用稳定线性滤波器。 在视觉和语言基准测试中，FiBeR consistently demonstrate substantial improvements in the performance of DP optimizers, surpassing state-of-the-art results under equivalent privacy constraints on multiple tasks。
引用
@article{arxiv.2605.03425,
title = {FIBER: A Differentially Private Optimizer with Filter-Aware Innovation Bias Correction},
author = {Duc Dm and Thao Do and Minh Son Hoang and Anh Le Duc Tran and Daeyoung Kim and Huy Nguyen},
journal= {arXiv preprint arXiv:2605.03425},
year = {2026}
}