高质量图像生成器是高分辨率视频合成所需的关键
计算机视觉与模式识别
2021-05-03 v1
摘要
图像与视频合成是旨在从噪声生成内容的密切相关领域。尽管基于图像的模型在应对大分辨率、高质量渲染和图像内容的广泛变化方面已取得快速进展，但实现可媲美的视频生成结果仍然存在问题。我们提出一个利用当代图像生成器来渲染高分辨率视频的框架。我们将视频合成问题表述为在预训练且固定的图像生成器的潜空间中寻找一条轨迹。这样的框架不仅能渲染高分辨率视频，而且计算效率还高出一个数量级。我们引入了一个运动生成器来发现所需轨迹，其中内容与运动被解耦。借助这种表示，我们的框架支持广泛的应用，包括内容与运动操控。此外，我们引入了一项称为跨域视频合成的新任务，其中图像与运动生成器分别在属于不同域的不相交数据集上训练。这使得能够为缺乏所需视频数据的运动对象生成视频。在各种数据集上的大量实验证明了我们的方法相对于现有视频生成技术的优势。代码将于 https://github.com/snap-research/MoCoGAN-HD 发布。
引用
@article{arxiv.2104.15069,
title = {A Good Image Generator Is What You Need for High-Resolution Video Synthesis},
author = {Yu Tian and Jian Ren and Menglei Chai and Kyle Olszewski and Xi Peng and Dimitris N. Metaxas and Sergey Tulyakov},
journal= {arXiv preprint arXiv:2104.15069},
year = {2021}
}
备注
Accepted to ICLR 2021