点对点视频生成
计算机视觉与模式识别
2019-08-08 v2
摘要
尽管图像操纵近年来取得了巨大突破（例如生成逼真人脸），视频生成探索较少且更难控制，这限制了其在现实世界中的应用。例如，视频编辑要求多个片段间的时间连贯性，从而在一个视频序列中同时施加起始和结束约束。我们引入点对点视频生成，以两个控制点——目标起始帧与目标结束帧——来控制生成过程。该任务具有挑战性，因为模型不仅要生成平滑的帧间过渡，还需提前规划以确保所生成的结束帧符合目标结束帧，且适用于不同长度的视频。我们提出在跳帧训练策略下最大化条件数据似然的修正变分下界。我们的模型能够生成序列，使其结束帧与目标结束帧一致，且不损失质量与多样性。我们在 Stochastic Moving MNIST、Weizmann Human Action 和 Human3.6M 上进行了大量实验以评估所提方法的有效性。我们在一系列场景（如动态长度生成）下展示了方法，定性结果展现了点对点生成的潜力与优势。项目主页见 https://zswang666.github.io/P2PVG-Project-Page/
引用
@article{arxiv.1904.02912,
title = {Point-to-Point Video Generation},
author = {Tsun-Hsuan Wang and Yen-Chi Cheng and Chieh Hubert Lin and Hwann-Tzong Chen and Min Sun},
journal= {arXiv preprint arXiv:1904.02912},
year = {2019}
}
备注
To appear in ICCV 2019. The first two authors contributed equally to this work. 16 pages, 21 figures