使用神经随机微分方程对具有隐私的神经网络进行建模
密码学与安全
2025-06-24 v2 机器学习
摘要
在本工作中，我们研究了使用神经常微分方程（NODEs）对具有内在隐私性质的系统进行建模的可行性。传统的多层前馈神经网络具有无限的表达能力，可以表示输入与输出之间的任意映射，而 NODEs 则将其学习约束在微分方程组的解上。我们首先检验这一约束是否减少了记忆，从而降低了与 NODEs 相关的成员推理风险。我们在成员推理攻击下对 NODEs 进行了全面评估，结果表明，与 ResNets 等传统模型相比，它们表现出两倍的抵抗力。通过分析不同 NODE 模型之间成员推理风险的方差，我们发现其有限的表达能力导致对训练数据的过拟合降低。然后，我们从理论和经验上证明，利用 NODEs 的随机变体——神经随机微分方程（NSDEs），可以进一步缓解成员推理风险。我们表明，NSDEs 是差分隐私（DP）学习器，可提供与 DPSGD（训练隐私模型的事实标准机制）相同的可证明隐私保证。NSDEs 在缓解成员推理攻击方面也很有效，实现了与使用 DP-SGD 训练的隐私模型相当的风险水平，同时提供了更好的隐私-效用权衡。此外，我们提出了一种直接替换策略，将 NSDEs 高效集成到传统前馈架构中以增强其隐私性。
引用
@article{arxiv.2501.06686,
title = {Modeling Neural Networks with Privacy Using Neural Stochastic Differential Equations},
author = {Sanghyun Hong and Fan Wu and Anthony Gruber and Kookjin Lee},
journal= {arXiv preprint arXiv:2501.06686},
year = {2025}
}