从隐私到概括性：DP-SGD的线性最大信息界限
机器学习
2026-05-27 v1 机器学习
摘要
理解隐私与概括性之间的关系始终是现代机器学习理论中的核心挑战，尤其是针对由差分隐私随机梯度下降（DP-SGD）变体训练的深层网络。在本工作中，我们通过证明DP-SGD的近似最大信息的有限样本界限，为解决这一持续的开放问题作出了进展。我们的界限展现出与（Dwork 等人, 2015）经典结果相当的扩展特性，即最多为数据集大小的线性。基于我们的结果，我们获得了一个通用的PAC-Bayes概括界限，其中必需的先验分布可由DP-SGD学习，以及针对DP-SGD训练模型的概括界限，具有完全显式且由优化超参数控制的复杂度项。
关键词
引用
@article{arxiv.2605.26222,
title = {From Privacy to Generalization: Linear Max-Information Bounds for DP-SGD},
author = {Christoph H. Lampert and Hossein Zakerinia},
journal= {arXiv preprint arXiv:2605.26222},
year = {2026}
}
备注
22 pages