GAC-GAN：一种外观可控的人体视频运动迁移通用方法
计算机视觉与模式识别
2020-02-11 v2 图形学
多媒体
摘要
人体视频运动迁移在多媒体、计算机视觉与图形学中有广泛应用。近年来，由于生成对抗网络（GAN）的快速发展，该领域取得了显著进展。然而，几乎所有现有的基于GAN的工作都倾向于处理从人体运动到视频场景的映射，且场景外观在训练好的模型中是被单独编码的。因此，每个训练好的模型只能生成具有特定场景外观的视频，若要生成新外观则需重新训练模型。此外，现有工作缺乏外观控制能力。例如，用户必须提供穿着新衣服或在新背景下表演的视频记录，才能在其合成视频中实现换装或背景更换，这极大限制了应用的灵活性。本文提出GAC-GAN，一种用于外观可控人体视频运动迁移的通用方法。为实现通用外观合成，我们提出将外观信息纳入条件输入中。因此，一旦训练完成，我们的模型可通过改变输入的外观信息来生成新外观。为实现外观控制，我们首先获取外观可控的条件输入，然后利用两阶段GAC-GAN生成相应的外观可控输出，其中我们分别采用ACGAN损失与阴影提取模块来实现输出前景与背景的外观控制。我们进一步构建了一个包含大量舞蹈视频的独舞数据集用于训练与评估。实验结果表明，我们提出的GAC-GAN不仅能支持外观可控的人体视频运动迁移，还能取得比现有最优方法更高的视频质量。
引用
@article{arxiv.1911.10672,
title = {GAC-GAN: A General Method for Appearance-Controllable Human Video Motion Transfer},
author = {Dongxu Wei and Xiaowei Xu and Haibin Shen and Kejie Huang},
journal= {arXiv preprint arXiv:1911.10672},
year = {2020}
}
备注
paper under review