MAPConNet:基于网格与点对比学习的自监督三维姿态迁移
计算机视觉与模式识别
2023-10-13 v2
摘要
三维姿态迁移是一项具挑战性的生成任务,旨在将源几何体的姿态迁移到目标几何体上并保持目标身份。许多先前方法需要关键点标注以寻找源与目标间的对应。当前的姿态迁移方法允许端到端对应学习,但需要期望的最终输出作为监督真值。已有针对图卷积模型的无监督方法被提出,但它们需要源与目标输入间的真值对应。我们提出了一种用于三维姿态迁移的新型自监督框架,可在无监督、半监督或全监督设定下训练而无需任何对应标签。我们在潜空间引入两种对比学习约束:一个网格级损失用于解耦包括姿态与身份在内的全局模式,以及一个点级损失用于判别局部语义。我们通过定量与定性实验证明,我们的方法在有监督三维姿态迁移中取得了最先进结果,在无监督与半监督设定下结果相当。我们的方法也可泛化到具有复杂拓扑的未见人与动物数据。
引用
@article{arxiv.2304.13819,
title = {MAPConNet: Self-supervised 3D Pose Transfer with Mesh and Point Contrastive Learning},
author = {Jiaze Sun and Zhixiang Chen and Tae-Kyun Kim},
journal= {arXiv preprint arXiv:2304.13819},
year = {2023}
}
备注
Accepted by ICCV 2023