两层网络中的差分隐私：DP-SGD 对公平性和鲁棒性的影响
机器学习
2026-04-21 v2 计算机与社会
摘要
差分隐私学习对于训练敏感数据至关重要，但经验研究一致显示其会降低性能、引入公平性问题（如不平等影响），并降低对抗鲁棒性。现代非凸神经网络中这些现象的理论阐述仍 largely 未探索。本文引入一种统一的特征中心框架，用于分析两层 ReLU 卷积神经网络中差分隐私随机梯度下降（DP-SGD）的特征学习动力学。我们的分析建立了受关键度量——特征到噪声比（FNR）支配的测试损失界限。我们表明，为实现隐私所需的噪声导致特征学习次优，具体表现为：1）不同类别和子人群之间的不平衡 FNR 会导致不平等影响；2）即使在同一类别中，噪声对语义长尾数据影响更大；3）噪声注入会加剧对抗攻击的脆弱性。此外，我们的分析揭示了流行的公共预训练和私有微调范式无法保证改进，特别是在数据集之间显著特征分布迁移的情况下。实验在合成数据和真实数据上都证实了我们的理论发现。
引用
@article{arxiv.2603.04881,
title = {Differential Privacy in Two-Layer Networks: How DP-SGD Harms Fairness and Robustness},
author = {Ruichen Xu and Kexin Chen},
journal= {arXiv preprint arXiv:2603.04881},
year = {2026}
}