用于无监督三维姿态迁移的内蕴-外蕴保持GAN
计算机视觉与模式识别
2021-08-23 v2
摘要
借助深度生成模型的优势，三维姿态迁移近年来重新获得广泛研究关注。现有方法主要依赖多种约束来实现三维网格上的姿态迁移，例如需要手动编码以解耦形状与姿态。本文提出一种无监督方法，用于在任意给定的三维网格之间进行姿态迁移。具体而言，我们提出一种新颖的内蕴-外蕴保持生成对抗网络（IEP-GAN），用于同时保持内蕴（即形状）与外蕴（即姿态）信息。在外蕴方面，我们提出一种共现判别器，从网格的不同拉普拉斯算子中捕捉结构/姿态不变性。同时，在内蕴方面，引入一种局部内蕴保持损失以保留测地先验并避免繁重计算。最后，我们展示了利用IEP-GAN以多种方式操控三维人体网格的可能性，包括姿态迁移、身份交换以及利用隐空间编码向量运算进行姿态插值。在包含人体、动物和手部等多种三维数据集上的大量实验从定性与定量角度证明了我们方法的通用性。与近期最先进方法相比，我们提出的模型生成效果更好且效率显著提升。代码已公开：https://github.com/mikecheninoulu/Unsupervised_IEPGAN
引用
@article{arxiv.2108.07520,
title = {Intrinsic-Extrinsic Preserved GANs for Unsupervised 3D Pose Transfer},
author = {Haoyu Chen and Hao Tang and Henglin Shi and Wei Peng and Nicu Sebe and Guoying Zhao},
journal= {arXiv preprint arXiv:2108.07520},
year = {2021}
}
备注
ICCV 2021