差分隐私训练对长尾数据记忆效应的影响
机器学习
2026-02-05 v1 人工智能
摘要
近期研究表明，现代深度学习模型通过记忆个别训练样本来实现高预测精度，这种记忆行为引发严重隐私顾虑，推动了差分隐私训练算法（如 DP-SGD）的广泛采用。然而，越来越多的实证工作显示，DP-SGD 常在长尾数据（包含大量稀有或非典型样本）上表现次佳。尽管已有观察，但关于这种现象的理论理解仍存严重不足，且现有差分隐私分析难以推广到实际中常用的非凸非光滑神经网络。本文从特征学习视角构建了分析 DP-SGD 在长尾数据上的首个理论框架。我们指出，DP-SGD 在长尾子人群上的测试误差显著高于整个数据集的总体测试误差。我们的分析进一步刻画了 DP-SGD 的训练动力学，展示梯度裁剪与噪声注入如何共同影响模型记忆信息但稀缺样本的能力。最后，我们通过合成数据和真实数据上的大量实验验证了理论发现。
引用
@article{arxiv.2602.03872,
title = {Understanding the Impact of Differentially Private Training on Memorization of Long-Tailed Data},
author = {Jiaming Zhang and Huanyi Xie and Meng Ding and Shaopeng Fu and Jinyan Liu and Di Wang},
journal= {arXiv preprint arXiv:2602.03872},
year = {2026}
}
备注
arXiv admin note: text overlap with arXiv:2502.11893 by other authors