隐私保护联邦循环神经网络
密码学与安全
2023-05-04 v2
摘要
我们提出 RHODE,一种新颖的系统,它借助多方同态加密,在跨机构(cross-silo)联邦学习设定下实现循环神经网络(RNNs)的隐私保护训练与预测。RHODE 保护了训练数据、模型以及预测数据的机密性;并在被动敌手威胁模型下缓解针对梯度的联邦学习攻击。我们提出一种打包方案——多维打包(multi-dimensional packing),以在加密状态下更好地利用单指令多数据(SIMD)操作。借助多维打包,RHODE 能够并行高效处理一批样本。为避免梯度爆炸问题,RHODE 提供了若干裁剪近似方法,以在加密下执行梯度裁剪。我们通过实验表明,无论数据持有者之间数据分布是同构还是异构,RHODE 的模型性能均与非安全方案相近。我们的实验评估显示,RHODE 随数据持有者数量和时序步数线性扩展,并分别随 RNN 的特征数和隐藏单元数亚线性、亚二次方扩展。据我们所知,RHODE 是首个在联邦学习设定下提供加密训练中 RNN 及其变体所需构建模块的系统。
引用
@article{arxiv.2207.13947,
title = {Privacy-Preserving Federated Recurrent Neural Networks},
author = {Sinem Sav and Abdulrahman Diaa and Apostolos Pyrgelis and Jean-Philippe Bossuat and Jean-Pierre Hubaux},
journal= {arXiv preprint arXiv:2207.13947},
year = {2023}
}
备注
Accepted for publication at the 23rd Privacy Enhancing Technologies Symposium (PETS 2023)