姿态引导的生成对抗网络用于新视角动作合成
计算机视觉与模式识别
2021-12-10 v2
摘要
我们聚焦于新视角人体动作合成问题。给定一个动作视频，目标是生成一个从未见过视角下的相同动作。自然地，新视角视频合成比图像合成更具挑战性。它需要合成一系列具有时间连贯性的逼真帧。此外，将不同动作迁移到一个新的目标视角需要同时感知动作类别和视角变化。为解决这些挑战，我们提出一个名为姿态引导的动作可分离生成对抗网络（PAS-GAN）的新框架，利用姿态来降低此任务的难度。首先，我们提出一个循环姿态变换模块，将动作从源视角变换到目标视角，并在二维坐标空间中生成新视角姿态序列。其次，一个良好变换的姿态序列使我们能够在目标视角中分离动作和背景。我们采用一个新颖的局部-全局空间变换模块，利用这些动作和背景特征在目标视角中有效生成序列视频特征。最后，生成的视频特征借助一个三维解码器用于合成人体动作。此外，为聚焦视频中的动态动作，我们提出一种新颖的多尺度动作可分离损失，进一步提升了视频质量。我们在两个大规模多视角人体动作数据集 NTU-RGBD 和 PKU-MMD 上进行了广泛实验，证明了 PAS-GAN 的有效性，其性能优于现有方法。
引用
@article{arxiv.2110.07993,
title = {Pose-guided Generative Adversarial Net for Novel View Action Synthesis},
author = {Xianhang Li and Junhao Zhang and Kunchang Li and Shruti Vyas and Yogesh S Rawat},
journal= {arXiv preprint arXiv:2110.07993},
year = {2021}
}
备注
Accepted by WACV2022