利用 Dropout 抵御梯度深度泄露
机器学习
2022-11-16 v2 密码学与安全
摘要
随着当今数据规模和大小显著增加，用于高性能计算和机器学习的联邦学习 (Bonawitz 等 [2019]) 比以往任何时候都更加重要 (Abadi 等 [2016])。人们过去常认为，在训练阶段共享梯度似乎能安全地隐藏本地训练数据。然而，Zhu 等 [2019] 证明了可以通过探测梯度从模型训练数据中恢复原始数据。他们使用生成的随机虚拟数据并最小化其与真实数据之间的距离。Zhao 等 [2020] 进一步推进了该收敛算法。通过用交叉熵损失替换原始损失函数，他们实现了更好的保真度阈值。在本文中，我们提出在将数据馈送到分类器之前使用一个额外的 dropout (Srivastava 等 [2014]) 层。这在防止原始数据泄露方面非常有效，因为当 dropout 率设为 0.5 时，即使在 5,800 个 epoch 之后，训练数据也无法收敛到较小的 RMSE。
引用
@article{arxiv.2108.11106,
title = {Dropout against Deep Leakage from Gradients},
author = {Yanchong Zheng},
journal= {arXiv preprint arXiv:2108.11106},
year = {2022}
}