Dual-MTGAN:用于图像到视频合成随机与确定性运动迁移
计算机视觉与模式识别
2021-03-01 v1
摘要
生成具有内容和运动变化的视频是计算机视觉中的一项挑战性任务。尽管近期 GAN 的发展允许从潜表示生成视频,但生成具有特定感兴趣内容或运动模式的视频并不容易。本文提出双运动迁移 GAN(Dual Motion Transfer GAN, Dual-MTGAN),其以图像和视频数据作为输入,同时学习解耦的内容与运动表示。我们的 Dual-MTGAN 能够执行确定性运动迁移与随机运动生成。给定一幅图像,前者保留输入内容并迁移从另一视频序列观测到的运动模式,后者则基于输入图像直接生成具有合理且多样运动模式的视频。所提模型以端到端方式训练,无需利用预定义的运动特征(如姿态或面部关键点)。我们的定量与定性结果将证实该模型在解决此类条件化图像到视频任务中的有效性与鲁棒性。
引用
@article{arxiv.2102.13329,
title = {Dual-MTGAN: Stochastic and Deterministic Motion Transfer for Image-to-Video Synthesis},
author = {Fu-En Yang and Jing-Cheng Chang and Yuan-Hao Lee and Yu-Chiang Frank Wang},
journal= {arXiv preprint arXiv:2102.13329},
year = {2021}
}
备注
Accepted to ICPR 2020