联邦扩散模型的梯度反向

扩散模型正在成为更优秀的生成模型，能够生成异常高分辨率的图像数据。有效训练扩散模型需要大量真实数据，而这些数据由分布式方以私有方式拥有。每个数据方可通过共享梯度而以联邦学习方式协同训练扩散模型。在本文中，我们研究梯度反向攻击的隐私泄露风险。首先，我们设计一种两阶段融合优化的 GIDM，以利用已训练的生成模型本身作为先验知识约束反向搜索（潜在）空间，随后进行像素级微调。GIDM 能够几乎重建与原始图像几乎相同的图像。考虑更具隐私保护性的训练场景，我们随后指出，本地初始化的私有训练噪声 $\epsilon$ 和采样步长 $t$ 可能为反向攻击带来额外挑战。为此，我们提出一种三阶段优化 GIDM+，协调未知数据、$\epsilon$ 和 $t$ 的优化。我们的广泛评估结果表明，尽管共享梯度可保护数据，但扩散模型仍面临严重的隐私泄露风险，即使是高分辨率图像也能以高质量重建。