草图引导的风格化风景 cinemagraph 生成

设计风格化 cinemagraph 具有复杂且富有表现力的流元素定制难题。为实现对生成 cinemagraph 进行直观且细致的控制，草图提供了一种可行解决方案，以超越文本输入的个性化设计需求。在本文中，我们提出了 Sketch2Cinemagraph，一个由草图引导的框架，使其能够从自由手绘草图条件生成风格化 cinemagraph。Sketch2Cinemagraph 采用文本提示进行初始风景生成，并为空间和运动线索提供草图控制。潜在扩散模型首先生成目标风格化风景图像以及逼真版本。随后，预训练的对象检测模型获取流动区域的掩码。我们提出了潜在运动扩散模型来估计生成风景图像中流体区域的运动场。输入的运动草图作为条件，用于控制掩码流体区域中生成运动场的提示。为合成 cinemagraph 框架，位于每个时间步的流体区域像素使用基于 U-Net 的帧生成器进行变形到目标位置。结果验证了 Sketch2Cinemagraph 能够从草图输入生成具有连续时间流动的观感令人愉悦的风格化 cinemagraph。我们通过定性和定量比较展示了 Sketch2Cinemagraph 相对于最先进方法的优势。