LoyalDiffusion：抵御数据复制的扩散模型

扩散模型在图像生成方面展现出巨大的潜力，但其能够复制训练数据的能力带来隐私风险，尤其是当训练数据包含敏感信息时。现有缓解策略主要聚焦于扩充训练数据集，导致对扩散模型架构影响的研究不足。本文填补了这一空白，通过考察和缓解U-Net模型中跳跃连接的结构影响。我们首先提出关于跳跃连接的trade-off观察：它们既增强图像生成质量，又强化了对训练数据的记忆，增加了复制风险。为此，我们提出一种复制感知U-Net (RAU-Net) 架构，将信息传递块嵌入那些对图像质量不那么关键的跳跃连接中。鉴于RAU-Net对生成质量可能产生的影响，我们进一步研究并确定特定时间步中记忆影响最为显著的时刻。通过在这些关键时间步上选择性地应用RAU-Net，我们将新颖的扩散模型与针对性的训练和推理策略结合，形成我们称为LoyalDiffusion的框架。大量实验表明，LoyalDiffusion在抑制复制方面优于最先进的复制缓解方法，实现了48.63%的复制率降低，同时保持了可比的图像质量。