DP-Adam：修正 Adam 二阶矩估计中的差分隐私偏差
机器学习
2023-04-25 v1 密码学与安全
摘要
我们观察到，将 DP 与 Adam 优化器传统结合会在二阶矩估计中引入偏差，其源于梯度计算中所加独立噪声。该偏差导致低方差参数更新具有不同于非私有 Adam 及 Adam 符号下降解释的缩放方式。经验上，修正 DP 噪声引入的偏差显著提升了 DP-Adam 的优化性能。
引用
@article{arxiv.2304.11208,
title = {DP-Adam: Correcting DP Bias in Adam's Second Moment Estimation},
author = {Qiaoyue Tang and Mathias Lécuyer},
journal= {arXiv preprint arXiv:2304.11208},
year = {2023}
}
备注
Published at ICLR 2023 Workshop on Trustworthy and Reliable Large-Scale Machine Learning Models