共享 LoRA 微调扩散模型权重的风险

随着生成模型的兴起以及在大数据集上预训练的扩散模型的便捷公开访问，用户可以微调这些模型，以在自然语言描述的新语境中生成个人面孔或物品的图像。诸如低秩自适应 (LoRA) 之类的参数高效微调 (PEFT) 已成为用户端在微调过程中节省内存和计算资源的最常用方式。然而，一个自然的问题是，当共享模型权重时，用于微调的私有图像是否会泄露给攻击者。在本文中，我们研究了一种实际场景下微调扩散模型的隐私泄露问题，其中攻击者只能访问模型权重，而不能访问用于微调的提示或图像。我们设计并构建了一个变分网络自编码器，它以模型权重为输入，输出私有图像的重建。为了提高训练此类自编码器的效率，我们提出了一种借助时间步嵌入的训练范式。结果对这一研究问题给出了令人惊讶的答案：攻击者可以生成包含与私有图像相同身份的图像。此外，我们证明，没有任何现有的防御方法（包括基于差分隐私的方法）能够在不损害微调模型实用性的前提下，保护用于微调扩散模型的私有数据的隐私。