基于随机游走采样的差分隐私图神经网络训练
机器学习
2023-01-03 v1 密码学与安全
摘要
深度学习模型已知会使其训练数据的隐私面临风险，这对其安全且符合伦理地公开发布提出了挑战。差分隐私随机梯度下降是在不泄露训练数据敏感信息的情况下训练神经网络的事实标准。然而，将其应用于图结构数据的模型带来了一个新颖的挑战：与独立同分布数据不同，图中节点的敏感信息不仅可能通过其梯度泄露，还可能通过其更大邻域内所有节点的梯度泄露。在实践中，这将图上隐私保护深度学习限制为非常浅层的图神经网络。我们提出通过在给定训练图的互不相交子图上训练图神经网络来解决此问题。我们开发了三种基于随机游走的方法用于生成此类互不相交子图，并对数据生成分布进行了仔细分析以提供强隐私保证。通过大量实验，我们表明我们的方法在三个大图上大幅优于最先进的基线，并在四个较小图上与之匹敌或优于它。
引用
@article{arxiv.2301.00738,
title = {Training Differentially Private Graph Neural Networks with Random Walk Sampling},
author = {Morgane Ayle and Jan Schuchardt and Lukas Gosch and Daniel Zügner and Stephan Günnemann},
journal= {arXiv preprint arXiv:2301.00738},
year = {2023}
}
备注
Accepted at the Trustworthy and Socially Responsible Machine Learning Workshop of NeurIPS 2022