初始化至关重要：过参数化神经网络的隐私-效用分析
机器学习
2023-11-01 v1 密码学与安全
机器学习
摘要
我们分析研究了随机机器学习算法中模型的过参数化如何影响其训练数据的信息泄漏。具体而言，我们证明了关于最坏情况相邻数据集上模型分布之间 KL 散度的隐私界，并探讨了其对全连接神经网络的初始化、宽度和深度的依赖关系。我们发现该 KL 隐私界很大程度上由训练期间相对于模型参数的期望平方梯度范数决定。值得注意的是，对于线性化网络的特殊设定，我们的分析表明平方梯度范数（以及因此导致的隐私损失加剧）与初始化分布的逐层方差直接相关。利用该分析，我们证明了在某些初始化（LeCun 和 Xavier）下隐私界随深度增加而改善，而在其他初始化（He 和 NTK）下随深度增加而恶化。我们的工作揭示了隐私与深度之间依赖于所选初始化分布的复杂相互作用。我们进一步在固定 KL 隐私预算下证明了超额经验风险界，并表明隐私-效用权衡与深度之间的相互作用同样受初始化影响。
引用
@article{arxiv.2310.20579,
title = {Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks},
author = {Jiayuan Ye and Zhenyu Zhu and Fanghui Liu and Reza Shokri and Volkan Cevher},
journal= {arXiv preprint arXiv:2310.20579},
year = {2023}
}