从一人复制动作至另一人：伪造动作视频生成
计算机视觉与模式识别
2022-12-26 v3 人工智能
摘要
人工智能的一个引人注目的应用是生成目标人物执行任意期望动作（来自源人物）的视频。尽管最先进的方法能够合成展示相似宏观动作细节的视频，但它们通常缺乏纹理细节。一个相关的表现形式为扭曲的面部、脚和手，此类缺陷被人类观察者非常敏感地察觉。此外，当前方法通常采用带L2损失的GAN来评估生成视频的真实性，本质上需要大量训练样本以学习纹理细节从而实现充分的视频生成。本工作中，我们从三方面应对这些挑战：1）我们将每视频帧解耦为前景（人物）与背景，聚焦于生成前景以降低网络输出的底层维度。2）我们提出一个理论驱动的Gromov-Wasserstein损失，促进从姿态到前景图像的映射学习。3）为增强纹理细节，我们以几何引导编码面部特征，并采用局部GAN细化面部、脚和手。大量实验表明，我们的方法能够生成真实的目标人物视频，忠实地从源人物复制复杂动作。
引用
@article{arxiv.2205.01373,
title = {Copy Motion From One to Another: Fake Motion Video Generation},
author = {Zhenguang Liu and Sifan Wu and Chejian Xu and Xiang Wang and Lei Zhu and Shuang Wu and Fuli Feng},
journal= {arXiv preprint arXiv:2205.01373},
year = {2022}
}
备注
9 pages, 4 figures