多层神经网络的微分隐私非凸学习
机器学习
2023-10-13 v1 密码学与安全
机器学习
摘要
本文关注具有单个输出节点的（多层）全连接神经网络的微分隐私随机优化问题。在第一部分，我们考察无隐藏节点的情况，具体聚焦于广义线性模型（GLMs）。我们研究良指定模型，其中随机噪声均值为零，且链接函数有界且 Lipschitz 连续。我们提出若干算法，分析表明可实现与数据维度无关的超额总体风险。我们还深入探讨了涉及 ReLU 链接函数的情形，结论与有界链接函数情形一致。我们以 ReLU 回归为例，对比了良指定与误指定模型，结束本节。在论文第二部分，我们将上述思想推广至良指定模型下具有 sigmoid 或 ReLU 激活函数的两层神经网络。在第三部分，我们研究了 Abadi 等人（2016）中 DP-SGD 对全连接多层神经网络的理论保证。利用神经正切核理论的最新进展，我们在样本量与网络宽度均足够大时给出了首个超额总体风险。此外，我们从理论与经验两方面讨论了 DP-SGD 中某些参数对其效用的作用。
引用
@article{arxiv.2310.08425,
title = {Differentially Private Non-convex Learning for Multi-layer Neural Networks},
author = {Hanpu Shen and Cheng-Long Wang and Zihang Xiang and Yiming Ying and Di Wang},
journal= {arXiv preprint arXiv:2310.08425},
year = {2023}
}