MotionVideoGAN：基于图像对学习运动空间的新型视频生成器
计算机视觉与模式识别
2023-03-07 v1
摘要
受益于强大图像生成器提供的高质量渲染，视频生成取得了快速进展。我们将视频合成任务视为生成共享相同内容但在运动中变化的一系列图像。然而，大多数基于预训练图像生成器的先前视频合成框架将内容与运动生成分开处理，导致生成的视频不真实。因此，我们设计了一个新颖框架来构建运动空间，旨在实现视频生成的内容一致性与快速收敛。我们提出 MotionVideoGAN，一种基于预训练图像对生成器学习的运动空间合成视频的新型视频生成器。首先，我们提出一个名为 MotionStyleGAN 的图像对生成器，用于生成共享相同内容并产生多种运动的图像对。然后我们设法获取运动编码以编辑生成图像对中的一张图像而保持另一张不变。由于编辑后的图像与图像对中另一张未变图像共享相同内容，运动编码帮助我们在运动空间内编辑图像。最后，我们引入一个潜码生成器，利用运动编码生成用于视频生成的潜码序列。我们的方法在用于无条件视频生成评估的最复杂视频数据集 UCF101 上达到了最先进的性能。
引用
@article{arxiv.2303.02906,
title = {MotionVideoGAN: A Novel Video Generator Based on the Motion Space Learned from Image Pairs},
author = {Jingyuan Zhu and Huimin Ma and Jiansheng Chen and Jian Yuan},
journal= {arXiv preprint arXiv:2303.02906},
year = {2023}
}
备注
Accepted by IEEE Transactions on Multimedia as a regular paper