CTrGAN:用于步态迁移的循环 Transformer GAN
计算机视觉与模式识别
2023-01-10 v4
摘要
我们提出了一种从野外无约束视频中进行步态迁移的新方法。与运动迁移不同,此处目标并非由目标模仿源的运动,而是用目标替换行走的源,同时迁移目标典型的步态。我们的方法仅需以多个源训练一次,便能从未见过的源迁移目标的步态,无需为每个新源独立重新训练。此外,我们提出了一种基于步态识别模型的步态迁移新度量,能够量化所迁移步态的质量,并表明现有技术产生的差异可被轻易检测。我们引入了 Cycle Transformers GAN (CTrGAN),其由解码器与编码器组成,二者均为 Transformer,其注意力位于完整图像间的时间域而非块之间的空间域。使用一个广泛使用的步态识别数据集,我们证明了即便用于训练时不可用的源,我们的方法也能生成比现有方法真实度高一个数量级以上的个性化步态。作为我们解决方案的一部分,我们提出了一种检测器,用于判定视频是真实的还是由我们的模型生成的。
引用
@article{arxiv.2206.15248,
title = {CTrGAN: Cycle Transformers GAN for Gait Transfer},
author = {Shahar Mahpod and Noam Gaash and Hay Hoffman and Gil Ben-Artzi},
journal= {arXiv preprint arXiv:2206.15248},
year = {2023}
}