通过分割学习增强 ControlNet 与 Stable Diffusion 的隐私性

随着大型生成模型的新兴趋势，ControlNet 被引入以使用户能够利用自己的数据微调预训练模型，以适应各种用例。一个自然的问题出现了：我们如何在确保跨分布式设备的用户数据隐私的同时训练 ControlNet 模型？通过探索不同的分布式训练方案，我们发现传统的联邦学习和分割学习并不适用。相反，我们提出了一种新的分布式学习结构，消除了服务器发送梯度回传的需求。通过对现有威胁的全面评估，我们发现在使用分割学习训练 ControlNet 的背景下，除先前文献中提到的两种攻击外，大多数现有攻击都是无效的。为了应对这些威胁，我们利用扩散模型的特性，在前向过程中设计了一种新的时间步采样策略。我们进一步提出了一种隐私保护激活函数以及一种防止私有文本提示离开客户端的方法，专门针对扩散模型的图像生成而定制。我们的实验结果表明，我们的算法和系统极大地提高了 ControlNet 分布式训练的效率，同时在确保用户数据隐私的同时不妥协图像生成质量。