基于扰动掩码的图像动画

我们提出一种由驱动视频对源图像进行图像动画化的新方法，二者描绘同一类物体。我们不假设姿态模型的存在，且我们的方法能够在不知晓物体结构的情况下对任意物体进行动画化。此外，驱动视频与源图像仅在测试时可见。我们的方法基于一个共享的掩码生成器，其将前景物体从背景中分离，并捕捉物体的总体姿态与形状。为控制输出帧的身份来源，我们采用扰动来阻断驱动者掩码上不需要的身份信息。随后一个掩码细化模块将驱动者的身份替换为源图像的身份。以源图像为条件，变换后的掩码由一个多尺度生成器解码，渲染出逼真图像，其中源帧的内容由驱动视频中的姿态所动画化。由于缺乏完全监督数据，我们以重构源图像所在同一视频的帧为任务进行训练。我们的方法在多个基准上被证明大幅优于最先进（SOTA）方法。我们的代码与样本见 https://github.com/itsyoavshalev/Image-Animation-with-Perturbed-Masks。