面向广义三维姿态迁移的几何对比Transformer
计算机视觉与模式识别
2021-12-15 v1
摘要
我们提出了一种为姿态迁移任务定制的3D网格Transformer模型。由于3D姿态迁移本质上依赖于给定网格的形变过程,本工作的直觉在于利用强大的自注意力机制感知给定网格间的几何不一致性。具体而言,我们提出了一种新颖的几何对比Transformer,其对给定网格间的全局几何不一致性具有高效的3D结构化感知能力。此外在局部,进一步提出了一种简单而高效的中心测地对比损失,以改进区域几何不一致性学习。最后,我们提出了一个潜在等距正则化模块,以及一个新的半合成数据集,用于面向未知空间的跨数据集3D姿态迁移任务。大量实验结果通过在SMPL-NPT、FAUST及我们新提出的数据集SMG-3D数据集上取得最先进的定量性能,以及在MG-cloth和SMAL数据集上有前景的定性结果,证明了我们方法的有效性。结果表明,我们的方法能够实现鲁棒的3D姿态迁移,并在跨数据集任务上泛化到来自未知空间的具有挑战性的网格。代码与数据集已公开。代码见:https://github.com/mikecheninoulu/CGT。
引用
@article{arxiv.2112.07374,
title = {Geometry-Contrastive Transformer for Generalized 3D Pose Transfer},
author = {Haoyu Chen and Hao Tang and Zitong Yu and Nicu Sebe and Guoying Zhao},
journal= {arXiv preprint arXiv:2112.07374},
year = {2021}
}
备注
AAAI 2022