通过特征解耦与真实感增强采样方法提升扩散模型的可控性

由于 Diffusion Models 展现出良好的性能，许多努力已被投入到提升 Diffusion Models 的可控性中。然而，如何训练 Diffusion Models 使其具有解耦的潜空间，以及如何在采样过程中自然地结合解耦的条件，仍未得到充分探索。在本文中，我们提出了一个用于 Diffusion Models 特征解耦的训练框架。我们进一步提出了两种采样方法，可以提升 Diffusion Models 的真实感并增强可控性。简而言之，我们基于两个潜在特征训练 Diffusion Models：一个空间内容掩码和一个扁平化的风格嵌入。我们依靠 Diffusion Models 去噪过程的归纳偏置，将姿态/布局信息编码在内容特征中，将语义/风格信息编码在风格特征中。关于采样方法，我们首先通过打破条件独立性假设来推广 Composable Diffusion Models (GCDM)，以允许条件输入之间存在一定的依赖关系，这在我们的实验中被证明在真实感生成中是有效的。其次，我们提出了针对内容和风格特征的依赖于时间步的权重调度，以进一步提升性能。我们还观察到，与现有方法相比，我们提出的方法在图像操作和图像转换中具有更好的可控性。