基于联合变换与合成的跨身份视频运动重定向
计算机视觉与模式识别
2022-10-05 v1
摘要
本文提出一种新颖的双分支变换-合成网络（TS-Net），用于视频运动重定向。给定一个主体视频和一个驱动视频，TS-Net可生成一个新的合理视频，具有主体视频的主体外观和驱动视频的运动模式。TS-Net由一个基于变形的变换分支和一个无变形的合成分支组成。双分支的新颖设计结合了基于变形网格的变换与无变形生成的优点，从而在合成视频中实现更好的身份保持和对遮挡的鲁棒性。进一步向变换分支引入掩码感知相似度模块以降低计算开销。在人脸和舞蹈数据集上的实验结果表明，TS-Net在视频运动重定向上优于多个最先进（SOTA）模型及其单分支变体。我们的代码可在 https://github.com/nihaomiao/WACV23_TSNet 获取。
引用
@article{arxiv.2210.01559,
title = {Cross-identity Video Motion Retargeting with Joint Transformation and Synthesis},
author = {Haomiao Ni and Yihao Liu and Sharon X. Huang and Yuan Xue},
journal= {arXiv preprint arXiv:2210.01559},
year = {2022}
}
备注
WACV 2023