静态图像中流体元素的可控动画生成

我们提出一种交互控制静态图像中流体元素动画以生成 cinemagraph 的方法。具体而言，我们关注水、烟、火等具有重复纹理和连续流体运动特性的流体元素的动画。受先前工作启发，我们以恒定 2D 光流图的形式表示图像中此类流体元素的运动。为此，我们允许用户提供任意数量的箭头方向及其关联速度，以及希望动画化的区域掩码。用户提供的输入箭头方向、对应速度值和掩码随后被转换为表示恒定光流图（FD）的稠密流图。我们观察到，使用简单指数运算获得的 FD 可紧密近似图像中元素的可信运动。我们进一步使用生成对抗网络（GAN）细化计算出的稠密光流图 FD，以获得更真实的光流图。我们设计了一种基于 UNet 的新颖架构，通过以不同分辨率前向扭曲输入图像特征，利用细化后的光流图自回归地生成未来帧。我们在公开可用数据集上进行大量实验，表明我们的方法在定性和定量指标上均优于基线。此外，我们展示了训练集中不存在方向上的物体定性动画，并提供了一种合成现实世界中本不存在的视频的方法。