面向跨域运动迁移的运动与外观自适应

运动迁移旨在将驱动视频的运动迁移至源图像。当驱动视频中的物体与源图像中的物体存在显著差异时，传统单域运动迁移方法常产生明显伪影；例如，合成图像可能无法保持源图像的人体形状（参见图 1(a)）。为解决此问题，本文提出一种用于跨域运动迁移的运动与外观自适应（MAA）方法，其中我们约束合成图像中的物体捕捉驱动帧中物体的运动，同时仍保持源图像中物体的形状与外观。一方面，考虑到合成图像与驱动帧的物体形状可能不同，我们设计了一个形状不变运动自适应模块，强制两图像中物体部件角度的一致性以捕捉运动信息。另一方面，我们引入一个结构引导外观一致性模块，旨在约束合成图像与源图像对应块之间的相似性，且不影响合成图像中学习到的运动。我们提出的 MAA 模型可通过循环重建损失以端到端方式训练，并最终产生满意的运动迁移结果（参见图 1(b)）。我们在人体舞蹈数据集 Mixamo-Video 到 Fashion-Video 以及人脸数据集 Vox-Celeb 到 Cufs 上进行了大量实验；在两者上，我们的 MAA 模型在定量与定性上均优于现有方法。