TransMoMo：基于不变性的无监督视频运动重定向
计算机视觉与模式识别
2020-04-02 v2
摘要
我们提出一种轻量级视频运动重定向方法 TransMoMo，能够将源视频中人物的运动逼真地迁移至另一目标人物的视频中。所提方法无需任何配对数据作为监督，可通过利用运动、结构与视角三个正交变化因子的不变性属性以无监督方式进行训练。具体而言，基于不变性精心推导损失函数，我们训练了一个自编码器，以在给定源与目标视频片段时解耦这些因子的潜在表示。这使得我们能够将源视频中提取的运动无缝选择性地迁移至目标视频，尽管源与目标之间存在结构与视角差异。对配对数据的宽松假设使我们的方法能够基于大量视频进行训练而无需源-目标配对的手动标注，从而提升针对视频中大幅结构变异与极端运动的鲁棒性。我们展示了该方法相对于当前最优（SOTA）方法的有效性。代码、模型与数据已在我们的项目页面公开（https://yzhq97.github.io/transmomo）。
引用
@article{arxiv.2003.14401,
title = {TransMoMo: Invariance-Driven Unsupervised Video Motion Retargeting},
author = {Zhuoqian Yang and Wentao Zhu and Wayne Wu and Chen Qian and Qiang Zhou and Bolei Zhou and Chen Change Loy},
journal= {arXiv preprint arXiv:2003.14401},
year = {2020}
}
备注
Accepted by CVPR 2020. The first three authors contributed equally. Project page: https://yzhq97.github.io/transmomo/