中文

Dropout 并非防止梯度泄露的全部所需

机器学习 2022-11-24 v2 人工智能 密码学与安全

摘要

对联邦学习系统的梯度反演攻击从交换的梯度信息中重建客户端训练数据。为防御此类攻击,人们提出了多种防御机制。然而,它们通常导致隐私与模型效用之间难以接受的权衡。近期观察表明,若向神经网络加入 dropout,可缓解梯度泄露并提升模型效用。遗憾的是,该现象尚未被系统研究。本文中,我们透彻分析了 dropout 对迭代式梯度反演攻击的影响。我们发现,由于模型训练期间 dropout 引入的随机性,最先进的攻击无法重建客户端数据。尽管如此,我们认为若攻击优化过程中充分建模 dropout 引入的随机性,dropout 并不能提供可靠保护。据此,我们提出一种新颖的 Dropout 反演攻击(DIA),联合优化客户端数据与 dropout 掩码以近似随机客户端模型。我们在四种开创性模型架构与三个复杂度递增的图像分类数据集上对我们的攻击进行了广泛的系统评估。我们发现,我们提出的攻击绕过了看似由 dropout 诱导的保护,并以高保真度重建客户端数据。我们的工作表明,仅对模型架构做隐私诱导的改动不能被假定为可靠地防范梯度泄露,因此应与互补的防御机制结合使用。

关键词

引用

@article{arxiv.2208.06163,
  title  = {Dropout is NOT All You Need to Prevent Gradient Leakage},
  author = {Daniel Scheliga and Patrick Mäder and Marco Seeland},
  journal= {arXiv preprint arXiv:2208.06163},
  year   = {2022}
}

备注

25 pages, 17 figures, 9 tables (supplementary material included)